江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！
谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机学会推荐会议里属于A类。SOSP在单数年举办，而OSDI在双数年举办。
那么这篇博客就来介绍一下MapReduce。
1. MapReduce是干啥的
因为没找到谷歌的示意图，所以我想借用一张Hadoop项目的结构图来说明下MapReduce所处的位置，如下图。
Hadoop实际上就是谷歌三宝的开源实现，Hadoop MapReduce对应Google MapReduce，HBase对应BigTable，HDFS对应GFS。HDFS（或GFS）为上层提供高效的非结构化存储服务，HBase（或BigTable）是提供结构化数据服务的分布式数据库，Hadoop MapReduce（或Google MapReduce）是一种并行计算的编程模型，用于作业调度。
GFS和BigTable已经为我们提供了高性能、高并发的服务，但是并行编程可不是所有程序员都玩得转的活儿，如果我们的应用本身不能并发，那GFS、BigTable也都是没有意义的。MapReduce的伟大之处就在于让不熟悉并行编程的程序员也能充分发挥分布式系统的威力。
简单概括的说，MapReduce是将一个大作业拆分为多个小作业的框架（大作业和小作业应该本质是一样的，只是规模不同），用户需要做的就是决定拆成多少份，以及定义作业本身。
下面用一个贯穿全文的例子来解释MapReduce是如何工作的。
2. 例子：统计词频
如果我想统计下过去10年计算机论文出现最多的几个单词，看看大家都在研究些什么，那我收集好论文后，该怎么办呢？
方法一：我可以写一个小程序，把所有论文按顺序遍历一遍，统计每一个遇到的单词的出现次数，最后就可以知道哪几个单词最热门了。
这种方法在数据集比较小时，是非常有效的，而且实现最简单，用来解决这个问题很合适。
方法二：写一个多线程程序，并发遍历论文。
这个问题理论上是可以高度并发的，因为统计一个文件时不会影响统计另一个文件。当我们的机器是多核或者多处理器，方法二肯定比方法一高效。但是写一个多线程程序要比方法一困难多了，我们必须自己同步共享数据，比如要防止两个线程重复统计文件。
方法三：把作业交给多个计算机去完成。
我们可以使用方法一的程序，部署到N台机器上去，然后把论文集分成N份，一台机器跑一个作业。这个方法跑得足够快，但是部署起来很麻烦，我们要人工把程序copy到别的机器，要人工把论文集分开，最痛苦的是还要把N个运行结果进行整合（当然我们也可以再写一个程序）。
方法四：让MapReduce来帮帮我们吧！
MapReduce本质上就是方法三，但是如何拆分文件集，如何copy程序，如何整合结果这些都是框架定义好的。我们只要定义好这个任务（用户程序），其它都交给MapReduce。
在介绍MapReduce如何工作之前，先讲讲两个核心函数map和reduce以及MapReduce的伪代码。
3. map函数和reduce函数
map函数和reduce函数是交给用户实现的，这两个函数定义了任务本身。
看你上面的刊期，在职称评定中，是以刊期为准的。如果是5月份的刊期，即使是8月份收到的，也是按5月份算的。
论文发表一般需要的时间如下：1、普刊即省级国家级一般安排周期是1到3个月；2、本科学报的安排周期一般为2到4个月；3、北大核心以上级别期刊的安排周期一般为6到8个月，审稿周期为一个月；4、科技核心期刊从投稿到录用发表，一般是3到6个月。
首先拿自然投稿来说，省级和国家级的论文审稿需要1-2天，发表时间需要1-3个月。个别快的话半个月内就可以完成，慢的话甚至要4-7个月之久了。对于质量水平较高的期刊和一些大学期刊来说，投稿发表时间通常在6个月左右，较快的也需要3-4个月。科技核心期刊审稿需要1-3个月，发表需要6-10个月，总体时间大致是1-1.5年。北核和南核的审稿需要3-4个月时间，出版则需要6-15个月时间，跨度大，总共需要时长约1-2年。SCI和EI等与北核南核时间周期类似。众所周知，省级和国家级别的期刊是普通期刊，是职称期刊发表的起跑线。相对而言，从选刊到成功收刊用不了多长时间。有些刊物块的话研究1个月左右的时间就收到了，如果慢的话，大概也就是3个月左右的时间。
关于刊出日期和检索日期怎么查方法如下sci期刊发表时间不一定看得到，哪怕看online时间、见刊时间或检索时间，一般也只能确定具体的年份和月份，甚至只能确定年份。sci期刊发表时间怎么看找sci期刊发表论文，从投稿到检索，所需要的时间，是因具体的期刊或具体的论文不同而有所差异。也就是说发表sci期刊这个过程所需要的时间是呈现动态化的，具有不确定性。想要了解某篇论文是什么时间发表的，先了解论文目前的状态，在了解可以查看到的记录时间。一是论文只是online尚未见刊，可以看看online的时间;online时间就是在线发表的时间，一般可以在sci期刊官网或者其他在线发表渠道上看到。二是论文只是见刊尚未检索，可以看看见刊的时间，这一时间是指期刊印刷出版的时间，可以确定期刊的年份和月份。比如你的论文是在XXXX年XX月sci期刊上发表的，那这个时间就算是sci期刊见刊的时间。三是论文检索了，可以看看检索的时间，一般登录web of science网站可以看到论文检索的年份。时间，是很多单位审核某篇sci论文被不被认可的条件之一。如果时间不在单位规定的范围之内，对作者来说是不起作用的。一般来说，发表的sci论文达到了规定的标准，提供的是检索报告和论文接受时间。
因为,Google是大数据鼻祖。很多人提起大数据,必然会想起Google 的“三驾马车”(也称谷歌三宝):GFS、MapReduce、BigTable。正所谓三篇论文定大数据之江山,它激发了大数据技术开源时代的到来,百花齐放,争相斗艳,成就了Hadoop的辉煌十载。尤其是近年来,大数据技术的发展,不论是技术的迭代,还是生态圈的繁荣,都远超人们的想象。
AI技术的智能模型的训练模式由之前的大炼模式逐渐变成炼大的模式；参数量模式在不断增加，探索的四个层次等等内容都有抄袭。
江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！
谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机学会推荐会议里属于A类。SOSP在单数年举办，而OSDI在双数年举办。
那么这篇博客就来介绍一下MapReduce。
1. MapReduce是干啥的
因为没找到谷歌的示意图，所以我想借用一张Hadoop项目的结构图来说明下MapReduce所处的位置，如下图。
Hadoop实际上就是谷歌三宝的开源实现，Hadoop MapReduce对应Google MapReduce，HBase对应BigTable，HDFS对应GFS。HDFS（或GFS）为上层提供高效的非结构化存储服务，HBase（或BigTable）是提供结构化数据服务的分布式数据库，Hadoop MapReduce（或Google MapReduce）是一种并行计算的编程模型，用于作业调度。
GFS和BigTable已经为我们提供了高性能、高并发的服务，但是并行编程可不是所有程序员都玩得转的活儿，如果我们的应用本身不能并发，那GFS、BigTable也都是没有意义的。MapReduce的伟大之处就在于让不熟悉并行编程的程序员也能充分发挥分布式系统的威力。
简单概括的说，MapReduce是将一个大作业拆分为多个小作业的框架（大作业和小作业应该本质是一样的，只是规模不同），用户需要做的就是决定拆成多少份，以及定义作业本身。
下面用一个贯穿全文的例子来解释MapReduce是如何工作的。
2. 例子：统计词频
如果我想统计下过去10年计算机论文出现最多的几个单词，看看大家都在研究些什么，那我收集好论文后，该怎么办呢？
方法一：我可以写一个小程序，把所有论文按顺序遍历一遍，统计每一个遇到的单词的出现次数，最后就可以知道哪几个单词最热门了。
这种方法在数据集比较小时，是非常有效的，而且实现最简单，用来解决这个问题很合适。
方法二：写一个多线程程序，并发遍历论文。
这个问题理论上是可以高度并发的，因为统计一个文件时不会影响统计另一个文件。当我们的机器是多核或者多处理器，方法二肯定比方法一高效。但是写一个多线程程序要比方法一困难多了，我们必须自己同步共享数据，比如要防止两个线程重复统计文件。
方法三：把作业交给多个计算机去完成。
我们可以使用方法一的程序，部署到N台机器上去，然后把论文集分成N份，一台机器跑一个作业。这个方法跑得足够快，但是部署起来很麻烦，我们要人工把程序copy到别的机器，要人工把论文集分开，最痛苦的是还要把N个运行结果进行整合（当然我们也可以再写一个程序）。
方法四：让MapReduce来帮帮我们吧！
MapReduce本质上就是方法三，但是如何拆分文件集，如何copy程序，如何整合结果这些都是框架定义好的。我们只要定义好这个任务（用户程序），其它都交给MapReduce。
在介绍MapReduce如何工作之前，先讲讲两个核心函数map和reduce以及MapReduce的伪代码。
3. map函数和reduce函数
map函数和reduce函数是交给用户实现的，这两个函数定义了任务本身。
来自清华、北大、上海交大；腾讯、华为、京东、字节跳动，和炙手可热的AI研发机构北京智源人工智能研究院等十多家知名机构的数十名国内AI大牛参与署名的论文，被Google Brain的一名研究员指出严重抄袭。被指控的论文名为《A Roadmap for Big Model》（下称《大模型》）。名叫Nicholas Carlini的研究员近日在其博客中直接罗列了大量该论文与他更早发布的“Deduplicating Training Data Makes Language Models Better”论文一摸一样的段落。而且，他还表示，被抄袭的可能至少还有其他十余篇论文。查阅预印本服务器arXiv可以发现，谷歌大脑研究员的论文上传时间为去年七月份，而《大模型》的上传时间在今年三月。Nicholas Carlini在其博客中表示：“很可能只有少数作者参与了这种抄袭，一小部分作者的不当行为不应该被用来指责大多数行为良好的作者。”
发表论文 多久能发表 ?有很多人快到评职称提交评估材料的时间，各种考试都通过了，但还没有发表文章，即使加急发表，但也不能保证100%的发表成功，比如参加各类考试而耽误些文章，导致文章不符合杂志的要求，同时期刊杂志上也有各种各样的出版延误的原因，如版面已经排满，这是很耽误时间的，或许几个月，甚至是一年之后才会有版面的情况也是很有可能的，所以把握好发布时间是至关重要的，那么 什么时候发表论文最为合适 呢?职称评审一年只有一次，一年的延迟对于作者来说会带来什么样的损失，不言而喻，下面具体讲下发表论文什么时候发表最为合适。 省级、国家级期刊建议至少提前8个月准备;一般来讲，杂志社为了确保每期杂志正常出刊，都会提前将当期之后1-3个月的稿件提前安排好，而一些创刊较早，认可度更高的热门期刊，来稿量较大，发表周期可能就会更久。提前准备，意味着杂志的可选择性更多。 核心期刊建议至少提前12个月准备;核心期刊正常的审稿周期为1-3个月，且审核严格，退稿、返修几率更大，这意味着在流程上耗费的时间更久;且 核心期刊 版面有限，投稿竞争更加激烈，即使被录用，排刊也比普通期刊晚很多，因此需要更早准备。 因此我们建议大家，评职称之前3-6个月收到刊物就行，不要提前太多，也不要迟于3个月。原因是这样的：太早发表，可能评职称的要求变了，还要重新发表，而且刊物容易丢失;太晚发表也不行，如果刊物发行延迟，势必影响晋职，另外，刊物在知网收录还需要1-2个月的时间，所以最好能提前3个月-6个月的时间拿到刊物，这样比较保险。
数十位国内AI大牛参与的论文被指严重抄袭，哪些地方有抄袭嫌疑？下面就我们来针对这个问题进行一番探讨，希望这些内容能够帮到有需要的朋友们。
北京智源人工智能研究院回复谷歌脑部的知名生物学家NicholasCarlini对一项中外合资大中型学术研究论文因涉嫌抄袭的控告称：“大家早已注意到对《ARoadmapforBigModel（关于“大模型”的路线图）》一文的怀疑，已经对有关情形开展核查，智源研究院激励学术研究自主创新和学术论坛，对学术造假零容忍，相关进度将尽早通告。”
先前4月8日，这篇数十位国内AI大神参加论文被指比较严重抄袭，NicholasCarlini公布发文，控告一篇于2022年3月26日发表在论文预印网址Arxiv的论文《关于“大模型”的路线图》（ARoadmapforBigModel）一文因涉嫌比较严重抄袭。
该文是不久前世界各国好几家高校和公司互相配合的将近200页的学术研究具体描述论文，有高达100名作者，各自来自于清华大学、北京大学等国内高校，哥伦比亚大学、蒙特利尔大学等海外高校，巨量引擎、华为、京东、腾讯等公司及其中科院和北京智源等组织。
NicholasCarlini在文章内容《机器学习研究中的一个抄袭案例》（“ACaseofPlagarisminMachineLearningResearch”）中则详尽例举了该论文存有一大段抄袭别的论文的行为，直接证据是规模性的文字重合，疑是被抄袭的论文也包含他自己的论文“DeduplicatingTrainingDataMakesLanguageModelsBetter”。
先前3月31日，北京智源社区发文以《如何炼大模型？200页pdf100+位作者19家单位！北京智源清华唐杰等发布》详细介绍该篇论文：“伴随着以深度神经网络为象征的AI技术应用的迅速发展趋势，智能化模型的练习运用方式慢慢由‘大炼模型’向‘炼大模型’变化。
大模型科学研究在近些年进步快速，模型的参总数以令人吃惊的速率拓展。北京智源人工智能研究院近期公布的《ARoadmapforBigModel》由禅悟大模型科学研究项目经理，智源学术副院长，清华大学计算机系专家教授唐杰带头，从大模型基本资源、大模型搭建、大模型核心技术与大模型运用探寻4个方面考虑，对15个实际行业的16个有关主题风格开展全方位详细介绍和讨论。十分需要关心。”
论文从初稿到发看需要三四个月左右。
一般的省级、国家级论文审稿需要1～2天，出刊需要1～3个月。个别快的0.5个月，还有个别慢的需要4～7个月。
质量水平高一些的期刊，还有一些大学学报，投稿的出刊需要6个月左右，快一些的3～4个月。
科技核心期刊审稿需要1～3个月，出刊另需要6～10个月左右，总的算起来大约是1年～1年半。
北核、南核审稿需要3～4个月，出刊另需6～15个月左右，跨度较大总的算起来1年～2年。
综上所述，评职称发表论文一定要对各不同级别论文的发表周期做到心里有数，提前准备，以免时间上赶不及白白错过评审多等一年。尤其是核心论文，一定要提前。
等会让他赶紧染发剂对人体
1、大数据进化论——在BI之外扩展新的业务边界
大数据不是绣花;它的主要任务是解决业务问题。从某种程度上说，大数据就是利用新的数据技术来拓展和优化业务。传统企业需要聚集一群人来研究这个问题。
如果你想在外部找到一个新的商业模式，如果你想在内部找到一个方案，你可以使用大数据来提高效率。
目前，在大数据可以创造价值的领域，互联网、制造业、公共服务、医疗保健、金融服务等行业有着广阔的前景。
从领域的角度来看，广告、营销、风险控制和供应链都是大数据可以发挥作用的地方。对于电信运营商等具体企业，大数据还可以在网络优化等方面提供新的方法。
大数据应用场景是企业需要思考的地方。传统BI的失败在一定程度上是由于技术对业务的推动和对传统BI使用数据能力的高估所造成的逆向现象。例如，许多油田不能使用传统的BI进行生产。
大数据也面临的大问题,但重要的是要注意,随着大数据的概念的普及和实际应用领域的扩展,对数据管理和业务人员的理解,经历了巨大的变化,和面向数据的思维已深深扎根于人们的思想,这是一个新的大数据。
没有业务，就没有大数据。
2、大数据进化论——颠覆BI，打造大数据技术引擎
这是目前大数据领域最热的地方。许多公司都在构建自己的大数据平台。他们只能解决以下问题。
例如Hadoop、流处理等技术可以解决海量结构化和非结构化数据的ETL问题。Hadoop、MPP等技术可以解决海量数据计算问题;有效阅读的问题可以通过Redis、HBASE等方法来解决。通过Impala等技术实现在线分析。
其实质是基于廉价机器，以分散和分布式的方式解决海量结构化和非结构化数据的存储、处理和读写问题。
要理解这个，我们只需要理解谷歌，谷歌文件系统，谷歌Bigtable，谷歌MapReduce这三篇论文。
然而，并不是每个企业都需要建立自己的大数据平台。你可以根据自己的能力做这件事。你可以自己做，比如BAT，你可以购买，比如传统的大企业，或者你可以租用，比如使用阿里云和AWS。
在技术,传统的BI ETL、数据仓库和OLAP技术,愿景声明,被淘汰的边缘,因为它不解决大量数据,包括结构化和非结构化、处理问题,所有的功能都可以取代相应的大型数据组件,所以没有更多的未来发展,大多数企业即使没有大数据业务驱动,但是大数据技术的成本优势,不要做大数据逆向传输是你使用的大数据技术，不是吗?
当然，传统的BI系统还会存在很长一段时间。毕竟，大数据的推广应用是一个漫长的过程，传统企业对大数据技术稳定性的担忧也是一个障碍。但至少，这种趋势是不可阻挡的。
我记得我的企业一年前使用DB2，一年后GBASE替换了它。我们总是低估了技术革命对我们的影响。
3、大数据进化论——重塑BI，完善人员知识结构
有了商业和技术，让我们再来看看人。很多企业都在努力打造大数据平台，但在搭建之后，发现它仍然是一个报告系统，或者说是原来的BI。领导人会叹气，这不是一件新背心吗?大数据有什么好处?
许多公司,它可以有很多的预算购买昂贵的机器和软件,但是对于引进人才和培训人才有点不知所措,买了1美元大数据的硬件和软件,但是我希望最初的BI团队可以带来繁荣的大数据应用程序,它是穷人,新酒,原来的团队来处理公司的报告系统有一个非常好的工作。
大数据进化论包含哪些内容?注意这些的大数据工程师才算优秀，大数据不是绣花，它的首要任务是解决业务问题，大数据在一定程度上是利用新的数据技术来拓展和优化业务，你能处理好吗?如果您还担心自己入门不顺利，可以点击本站其他文章进行学习。
你说的可能是这三个吧：2003年发表了《The Google File System》2004年发表了《MapReduce: Simplified Data Processing on Large Clusters 》2006年发表了《Bigtable: A Distributed Storage System for Structured Data》
江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！
谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机学会推荐会议里属于A类。SOSP在单数年举办，而OSDI在双数年举办。
那么这篇博客就来介绍一下MapReduce。
1. MapReduce是干啥的
因为没找到谷歌的示意图，所以我想借用一张Hadoop项目的结构图来说明下MapReduce所处的位置，如下图。
Hadoop实际上就是谷歌三宝的开源实现，Hadoop MapReduce对应Google MapReduce，HBase对应BigTable，HDFS对应GFS。HDFS（或GFS）为上层提供高效的非结构化存储服务，HBase（或BigTable）是提供结构化数据服务的分布式数据库，Hadoop MapReduce（或Google MapReduce）是一种并行计算的编程模型，用于作业调度。
GFS和BigTable已经为我们提供了高性能、高并发的服务，但是并行编程可不是所有程序员都玩得转的活儿，如果我们的应用本身不能并发，那GFS、BigTable也都是没有意义的。MapReduce的伟大之处就在于让不熟悉并行编程的程序员也能充分发挥分布式系统的威力。
简单概括的说，MapReduce是将一个大作业拆分为多个小作业的框架（大作业和小作业应该本质是一样的，只是规模不同），用户需要做的就是决定拆成多少份，以及定义作业本身。
下面用一个贯穿全文的例子来解释MapReduce是如何工作的。
2. 例子：统计词频
如果我想统计下过去10年计算机论文出现最多的几个单词，看看大家都在研究些什么，那我收集好论文后，该怎么办呢？
方法一：我可以写一个小程序，把所有论文按顺序遍历一遍，统计每一个遇到的单词的出现次数，最后就可以知道哪几个单词最热门了。
这种方法在数据集比较小时，是非常有效的，而且实现最简单，用来解决这个问题很合适。
方法二：写一个多线程程序，并发遍历论文。
这个问题理论上是可以高度并发的，因为统计一个文件时不会影响统计另一个文件。当我们的机器是多核或者多处理器，方法二肯定比方法一高效。但是写一个多线程程序要比方法一困难多了，我们必须自己同步共享数据，比如要防止两个线程重复统计文件。
方法三：把作业交给多个计算机去完成。
我们可以使用方法一的程序，部署到N台机器上去，然后把论文集分成N份，一台机器跑一个作业。这个方法跑得足够快，但是部署起来很麻烦，我们要人工把程序copy到别的机器，要人工把论文集分开，最痛苦的是还要把N个运行结果进行整合（当然我们也可以再写一个程序）。
方法四：让MapReduce来帮帮我们吧！
MapReduce本质上就是方法三，但是如何拆分文件集，如何copy程序，如何整合结果这些都是框架定义好的。我们只要定义好这个任务（用户程序），其它都交给MapReduce。
在介绍MapReduce如何工作之前，先讲讲两个核心函数map和reduce以及MapReduce的伪代码。
3. map函数和reduce函数
map函数和reduce函数是交给用户实现的，这两个函数定义了任务本身。
这个要看具体情况的，一个是如果你发的是普刊，那么周期就会短一些，一个是如果你发表的是核心期刊，有可能一年多才能见刊发表，前提是录用的情况下。还有一个情况是，如果你是自己投稿，会慢一些，如果你是找一些论文机构帮忙投稿发表，会快速一些。我之前找淘淘论文网发表的经济类论文，2个月就给你加急发表了，是普刊，如果是核心他们也没法加急。所以看你发表的什么刊物了。
论文从初稿到发看需要三四个月左右。
一般的省级、国家级论文审稿需要1～2天，出刊需要1～3个月。个别快的0.5个月，还有个别慢的需要4～7个月。
质量水平高一些的期刊，还有一些大学学报，投稿的出刊需要6个月左右，快一些的3～4个月。
科技核心期刊审稿需要1～3个月，出刊另需要6～10个月左右，总的算起来大约是1年～1年半。
北核、南核审稿需要3～4个月，出刊另需6～15个月左右，跨度较大总的算起来1年～2年。
综上所述，评职称发表论文一定要对各不同级别论文的发表周期做到心里有数，提前准备，以免时间上赶不及白白错过评审多等一年。尤其是核心论文，一定要提前。
因为,Google是大数据鼻祖。很多人提起大数据,必然会想起Google 的“三驾马车”(也称谷歌三宝):GFS、MapReduce、BigTable。正所谓三篇论文定大数据之江山,它激发了大数据技术开源时代的到来,百花齐放,争相斗艳,成就了Hadoop的辉煌十载。尤其是近年来,大数据技术的发展,不论是技术的迭代,还是生态圈的繁荣,都远超人们的想象。
这个具体要看你发的是什么样的杂志了，不同杂志的发表周期也不一样。省级、国家级的普刊一般是2-6个月（特别快的1个月左右，一部分可以办理加急版面）。杂志都有出版周期的问题，而且有的版面特别紧张，所以，如果用，要提早半年，不宜临时抱佛脚。每年三月份、九月份，是各地上报职称材料的高峰期。各个正规杂志社稿件大量积压，版面十分紧张，因此，及早准备。早准备、早受益。我当时是在百姓论文网发表的，省级的大概在2个月左右拿到手的，各方面都挺满意的，