谷歌的三篇论文发表时间

因为,Google是大数据鼻祖。很多人提起大数据,必然会想起Google 的“三驾马车”(也称谷歌三宝):GFS、MapReduce、BigTable。正所谓三篇论文定大数据之江山,它激发了大数据技术开源时代的到来,百花齐放,争相斗艳,成就了Hadoop的辉煌十载。尤其是近年来,大数据技术的发展,不论是技术的迭代,还是生态圈的繁荣,都远超人们的想象。

AI技术的智能模型的训练模式由之前的大炼模式逐渐变成炼大的模式；参数量模式在不断增加，探索的四个层次等等内容都有抄袭。

江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！

谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机学会推荐会议里属于A类。SOSP在单数年举办，而OSDI在双数年举办。

那么这篇博客就来介绍一下MapReduce。

1. MapReduce是干啥的

因为没找到谷歌的示意图，所以我想借用一张Hadoop项目的结构图来说明下MapReduce所处的位置，如下图。

Hadoop实际上就是谷歌三宝的开源实现，Hadoop MapReduce对应Google MapReduce，HBase对应BigTable，HDFS对应GFS。HDFS（或GFS）为上层提供高效的非结构化存储服务，HBase（或BigTable）是提供结构化数据服务的分布式数据库，Hadoop MapReduce（或Google MapReduce）是一种并行计算的编程模型，用于作业调度。

GFS和BigTable已经为我们提供了高性能、高并发的服务，但是并行编程可不是所有程序员都玩得转的活儿，如果我们的应用本身不能并发，那GFS、BigTable也都是没有意义的。MapReduce的伟大之处就在于让不熟悉并行编程的程序员也能充分发挥分布式系统的威力。

简单概括的说，MapReduce是将一个大作业拆分为多个小作业的框架（大作业和小作业应该本质是一样的，只是规模不同），用户需要做的就是决定拆成多少份，以及定义作业本身。

下面用一个贯穿全文的例子来解释MapReduce是如何工作的。

2. 例子：统计词频

如果我想统计下过去10年计算机论文出现最多的几个单词，看看大家都在研究些什么，那我收集好论文后，该怎么办呢？

方法一：我可以写一个小程序，把所有论文按顺序遍历一遍，统计每一个遇到的单词的出现次数，最后就可以知道哪几个单词最热门了。

这种方法在数据集比较小时，是非常有效的，而且实现最简单，用来解决这个问题很合适。

方法二：写一个多线程程序，并发遍历论文。

这个问题理论上是可以高度并发的，因为统计一个文件时不会影响统计另一个文件。当我们的机器是多核或者多处理器，方法二肯定比方法一高效。但是写一个多线程程序要比方法一困难多了，我们必须自己同步共享数据，比如要防止两个线程重复统计文件。

方法三：把作业交给多个计算机去完成。

我们可以使用方法一的程序，部署到N台机器上去，然后把论文集分成N份，一台机器跑一个作业。这个方法跑得足够快，但是部署起来很麻烦，我们要人工把程序copy到别的机器，要人工把论文集分开，最痛苦的是还要把N个运行结果进行整合（当然我们也可以再写一个程序）。

方法四：让MapReduce来帮帮我们吧！

MapReduce本质上就是方法三，但是如何拆分文件集，如何copy程序，如何整合结果这些都是框架定义好的。我们只要定义好这个任务（用户程序），其它都交给MapReduce。

在介绍MapReduce如何工作之前，先讲讲两个核心函数map和reduce以及MapReduce的伪代码。

3. map函数和reduce函数

map函数和reduce函数是交给用户实现的，这两个函数定义了任务本身。

数十位国内AI大牛参与的论文被指严重抄袭，哪些地方有抄袭嫌疑？下面就我们来针对这个问题进行一番探讨，希望这些内容能够帮到有需要的朋友们。

北京智源人工智能研究院回复谷歌脑部的知名生物学家NicholasCarlini对一项中外合资大中型学术研究论文因涉嫌抄袭的控告称：“大家早已注意到对《ARoadmapforBigModel（关于“大模型”的路线图）》一文的怀疑，已经对有关情形开展核查，智源研究院激励学术研究自主创新和学术论坛，对学术造假零容忍，相关进度将尽早通告。”

先前4月8日，这篇数十位国内AI大神参加论文被指比较严重抄袭，NicholasCarlini公布发文，控告一篇于2022年3月26日发表在论文预印网址Arxiv的论文《关于“大模型”的路线图》（ARoadmapforBigModel）一文因涉嫌比较严重抄袭。

该文是不久前世界各国好几家高校和公司互相配合的将近200页的学术研究具体描述论文，有高达100名作者，各自来自于清华大学、北京大学等国内高校，哥伦比亚大学、蒙特利尔大学等海外高校，巨量引擎、华为、京东、腾讯等公司及其中科院和北京智源等组织。

NicholasCarlini在文章内容《机器学习研究中的一个抄袭案例》（“ACaseofPlagarisminMachineLearningResearch”）中则详尽例举了该论文存有一大段抄袭别的论文的行为，直接证据是规模性的文字重合，疑是被抄袭的论文也包含他自己的论文“DeduplicatingTrainingDataMakesLanguageModelsBetter”。

先前3月31日，北京智源社区发文以《如何炼大模型？200页pdf100+位作者19家单位！北京智源清华唐杰等发布》详细介绍该篇论文：“伴随着以深度神经网络为象征的AI技术应用的迅速发展趋势，智能化模型的练习运用方式慢慢由‘大炼模型’向‘炼大模型’变化。

大模型科学研究在近些年进步快速，模型的参总数以令人吃惊的速率拓展。北京智源人工智能研究院近期公布的《ARoadmapforBigModel》由禅悟大模型科学研究项目经理，智源学术副院长，清华大学计算机系专家教授唐杰带头，从大模型基本资源、大模型搭建、大模型核心技术与大模型运用探寻4个方面考虑，对15个实际行业的16个有关主题风格开展全方位详细介绍和讨论。十分需要关心。”