因为,Google是大数据鼻祖。很多人提起大数据,必然会想起Google 的“三驾马车”(也称谷歌三宝):GFS、MapReduce、BigTable。正所谓三篇论文定大数据之江山,它激发了大数据技术开源时代的到来,百花齐放,争相斗艳,成就了Hadoop的辉煌十载。尤其是近年来,大数据技术的发展,不论是技术的迭代,还是生态圈的繁荣,都远超人们的想象。
因为，Google是大数据鼻祖。很多人提起大数据，必然会想起Google 的“三驾马车”（也称谷歌三宝）：GFS、MapReduce、BigTable。正所谓三篇论文定大数据之江山，它激发了大数据技术开源时代的到来，百花齐放，争相斗艳，成就了Hadoop的辉煌十载。尤其是近年来，大数据技术的发展，不论是技术的迭代，还是生态圈的繁荣，都远超人们的想象。从 Spark 超越 Hadoop 勇攀高峰，到 Flink 横空出世挑战 Spark 成为大数据处理领域一颗耀眼的新星，再到如今 Google 又决心用 Apache Beam 一统天下。大数据开源技术的发展可谓是继往开来，跌宕起伏，波澜壮阔，俨然一副绵绵不断的辉煌画卷。
链接：
吴 军：科技史纲60讲。吴军，计算机科学家、硅谷投资人、著名自然语言处理和搜索专家、谷歌中日韩文搜索算法的主要设计者。畅销书《浪潮之巅》《数学之美》《文明之光》《大学之路》《硅谷之谜》《智能时代》《见识》《态度》作者。
我们总说要铭记历史，但是，在一个较长的历史阶段回望历史事件的影响力，再大的事情都显得微乎其微。从文明开启到未来科技，从5大文明中心到100多个具体发明、理论，吴军带你俯瞰科技演化，理清发明的关系，看懂世界变化规律。
课程目录：
历次技术革命的规律怎么用到当下？
各个文明的竞争，比的到底是什么
世界贸易中的瓷器和真实的历史
信息从哪里来，它和能量怎样互换？
.....
你说的可能是这三个吧：2003年发表了《The Google File System》2004年发表了《MapReduce: Simplified Data Processing on Large Clusters 》2006年发表了《Bigtable: A Distributed Storage System for Structured Data》
等会让他赶紧染发剂对人体
1、大数据进化论——在BI之外扩展新的业务边界
大数据不是绣花;它的主要任务是解决业务问题。从某种程度上说，大数据就是利用新的数据技术来拓展和优化业务。传统企业需要聚集一群人来研究这个问题。
如果你想在外部找到一个新的商业模式，如果你想在内部找到一个方案，你可以使用大数据来提高效率。
目前，在大数据可以创造价值的领域，互联网、制造业、公共服务、医疗保健、金融服务等行业有着广阔的前景。
从领域的角度来看，广告、营销、风险控制和供应链都是大数据可以发挥作用的地方。对于电信运营商等具体企业，大数据还可以在网络优化等方面提供新的方法。
大数据应用场景是企业需要思考的地方。传统BI的失败在一定程度上是由于技术对业务的推动和对传统BI使用数据能力的高估所造成的逆向现象。例如，许多油田不能使用传统的BI进行生产。
大数据也面临的大问题,但重要的是要注意,随着大数据的概念的普及和实际应用领域的扩展,对数据管理和业务人员的理解,经历了巨大的变化,和面向数据的思维已深深扎根于人们的思想,这是一个新的大数据。
没有业务，就没有大数据。
2、大数据进化论——颠覆BI，打造大数据技术引擎
这是目前大数据领域最热的地方。许多公司都在构建自己的大数据平台。他们只能解决以下问题。
例如Hadoop、流处理等技术可以解决海量结构化和非结构化数据的ETL问题。Hadoop、MPP等技术可以解决海量数据计算问题;有效阅读的问题可以通过Redis、HBASE等方法来解决。通过Impala等技术实现在线分析。
其实质是基于廉价机器，以分散和分布式的方式解决海量结构化和非结构化数据的存储、处理和读写问题。
要理解这个，我们只需要理解谷歌，谷歌文件系统，谷歌Bigtable，谷歌MapReduce这三篇论文。
然而，并不是每个企业都需要建立自己的大数据平台。你可以根据自己的能力做这件事。你可以自己做，比如BAT，你可以购买，比如传统的大企业，或者你可以租用，比如使用阿里云和AWS。
在技术,传统的BI ETL、数据仓库和OLAP技术,愿景声明,被淘汰的边缘,因为它不解决大量数据,包括结构化和非结构化、处理问题,所有的功能都可以取代相应的大型数据组件,所以没有更多的未来发展,大多数企业即使没有大数据业务驱动,但是大数据技术的成本优势,不要做大数据逆向传输是你使用的大数据技术，不是吗?
当然，传统的BI系统还会存在很长一段时间。毕竟，大数据的推广应用是一个漫长的过程，传统企业对大数据技术稳定性的担忧也是一个障碍。但至少，这种趋势是不可阻挡的。
我记得我的企业一年前使用DB2，一年后GBASE替换了它。我们总是低估了技术革命对我们的影响。
3、大数据进化论——重塑BI，完善人员知识结构
有了商业和技术，让我们再来看看人。很多企业都在努力打造大数据平台，但在搭建之后，发现它仍然是一个报告系统，或者说是原来的BI。领导人会叹气，这不是一件新背心吗?大数据有什么好处?
许多公司,它可以有很多的预算购买昂贵的机器和软件,但是对于引进人才和培训人才有点不知所措,买了1美元大数据的硬件和软件,但是我希望最初的BI团队可以带来繁荣的大数据应用程序,它是穷人,新酒,原来的团队来处理公司的报告系统有一个非常好的工作。
大数据进化论包含哪些内容?注意这些的大数据工程师才算优秀，大数据不是绣花，它的首要任务是解决业务问题，大数据在一定程度上是利用新的数据技术来拓展和优化业务，你能处理好吗?如果您还担心自己入门不顺利，可以点击本站其他文章进行学习。
你说的可能是这三个吧：2003年发表了《The Google File System》2004年发表了《MapReduce: Simplified Data Processing on Large Clusters 》2006年发表了《Bigtable: A Distributed Storage System for Structured Data》
江湖传说永流传：谷歌技术有"三宝"，GFS、MapReduce和大表（BigTable）！
谷歌在03到06年间连续发表了三篇很有影响力的文章，分别是03年SOSP的GFS，04年OSDI的MapReduce，和06年OSDI的BigTable。SOSP和OSDI都是操作系统领域的顶级会议，在计算机学会推荐会议里属于A类。SOSP在单数年举办，而OSDI在双数年举办。
那么这篇博客就来介绍一下MapReduce。
1. MapReduce是干啥的
因为没找到谷歌的示意图，所以我想借用一张Hadoop项目的结构图来说明下MapReduce所处的位置，如下图。
Hadoop实际上就是谷歌三宝的开源实现，Hadoop MapReduce对应Google MapReduce，HBase对应BigTable，HDFS对应GFS。HDFS（或GFS）为上层提供高效的非结构化存储服务，HBase（或BigTable）是提供结构化数据服务的分布式数据库，Hadoop MapReduce（或Google MapReduce）是一种并行计算的编程模型，用于作业调度。
GFS和BigTable已经为我们提供了高性能、高并发的服务，但是并行编程可不是所有程序员都玩得转的活儿，如果我们的应用本身不能并发，那GFS、BigTable也都是没有意义的。MapReduce的伟大之处就在于让不熟悉并行编程的程序员也能充分发挥分布式系统的威力。
简单概括的说，MapReduce是将一个大作业拆分为多个小作业的框架（大作业和小作业应该本质是一样的，只是规模不同），用户需要做的就是决定拆成多少份，以及定义作业本身。
下面用一个贯穿全文的例子来解释MapReduce是如何工作的。
2. 例子：统计词频
如果我想统计下过去10年计算机论文出现最多的几个单词，看看大家都在研究些什么，那我收集好论文后，该怎么办呢？
方法一：我可以写一个小程序，把所有论文按顺序遍历一遍，统计每一个遇到的单词的出现次数，最后就可以知道哪几个单词最热门了。
这种方法在数据集比较小时，是非常有效的，而且实现最简单，用来解决这个问题很合适。
方法二：写一个多线程程序，并发遍历论文。
这个问题理论上是可以高度并发的，因为统计一个文件时不会影响统计另一个文件。当我们的机器是多核或者多处理器，方法二肯定比方法一高效。但是写一个多线程程序要比方法一困难多了，我们必须自己同步共享数据，比如要防止两个线程重复统计文件。
方法三：把作业交给多个计算机去完成。
我们可以使用方法一的程序，部署到N台机器上去，然后把论文集分成N份，一台机器跑一个作业。这个方法跑得足够快，但是部署起来很麻烦，我们要人工把程序copy到别的机器，要人工把论文集分开，最痛苦的是还要把N个运行结果进行整合（当然我们也可以再写一个程序）。
方法四：让MapReduce来帮帮我们吧！
MapReduce本质上就是方法三，但是如何拆分文件集，如何copy程序，如何整合结果这些都是框架定义好的。我们只要定义好这个任务（用户程序），其它都交给MapReduce。
在介绍MapReduce如何工作之前，先讲讲两个核心函数map和reduce以及MapReduce的伪代码。
3. map函数和reduce函数
map函数和reduce函数是交给用户实现的，这两个函数定义了任务本身。
Gebru的支持者表示，谷歌的政策“实施得不均衡且具有歧视性”。
最近，科技圈的发生了一件大事，知名AI学者之一、人工智能伦理研究员Timnit Gebru被谷歌突然开除，引得一众哗然。
Timnit Gebru毕业于斯坦福大学，师从李飞飞，是 AI行业为数不多的黑人女性领导者之一，在AI伦理领域，Gebru不仅是基础研究者，更是许多年轻学者的榜样 。
她最知名的研究是在2018年发现，面部识别软件对黑人女性有高达35%的错误率，而对白人男性几乎完全正确。
然而，因一篇论文不符合谷歌内部评审，Gebru宣称被谷歌单方面辞退。
大约一周前，Gebru对外宣称，因与他人共同撰写了 一篇批评谷歌AI系统的研究论文 后，自己被谷歌解雇了。
然而，谷歌对外表示，因论文审查不符合谷歌要求，接受Gebru的个人辞职申请。
据外媒报道，这篇论文标题为“On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?”（随机鹦鹉的危险：语言模型会太大吗？），由谷歌的内部团队和外部研究人员共同撰写， 提出科技公司应该做更多事情，以确保AI写作和语音识别不会加剧歧视 。
值得注意的是， 论文内容谈到了谷歌BERT（自然语言处理系统）在AI伦理上的负面影响。
一开始，双方的争议点在于审查流程的问题。根据谷歌公司发表论文的流程，Gebru应在两周前提交论文，而不是在最后期限的前一天。
但Gebru的团队对这一评估进行了反驳，称审查政策旨在灵活，大多数人并没有遵循目前谷歌AI负责人Jeff Dean制定的结构。该团队收集的数据显示，绝大多数的审批都发生在截止日期之前，41%的审批发生在截止日期之后。他们写道： “没有硬性要求论文必须在两周内真正通过这个审查。”
同时，Dean认定该论文没有达到标准，因为它 “忽视了太多相关研究” ，从而要求她撤回这篇论文，或者删除谷歌员工的署名。
据《泰晤士报》（the Times）报道，Gebru在撤回该论文之前，曾要求与谷歌进行进一步讨论。Gebru表示，如果谷歌不能解决她的担忧，她将从公司辞职。
随后谷歌告诉Gebru，公司不能满足她的条件，并将立即接受她的辞职。
Dean还表示，Gebru煽动同事不要参与谷歌的DEI(多元化、公平和包容性)项目，他对此感到失望。
不久，Gebru很快就发现已经无法登陆自己的公司账户，这表示她已经被开除了。
离任后，总共有超过1,400名Google员工以及1,800多名其他行业专家签署了一封公开信，以支持Gebru。
信中写道：“格布鲁博士并没有被谷歌誉为杰出的人才和多产的贡献者，而是面临着防御，种族主义，研究审查以及现在的报复性开除。”
为Gebru辩护的前同事和外部行业研究人员们质疑，在这种情况下，谷歌是否武断地更严格地执行了规则。
前Google员工发推文表示“我支持@timnitGebru”。
这件事也加剧了 Google管理层与一些普通员工之间的紧张关系。
在Gebru发布离职推文的同一天，谷歌被美国国家劳动关系委员会（National Labour Relations Board）指控报复，该机构在投诉中称，谷歌通过监视，讯问和解雇维权雇员而违反了美国劳动法。
Gebru的离职，还引起了已经对谷歌在人工智能道德方面的工作感到担忧的人群的反感。去年Google成立了一个AI道德委员会，之后便遭到了该小组人员的抨击。仅一周后，该委员会被解散。
吴军博士毕业于清华大学计算机系（本科）和电子工程系（硕士），并于1993-1996年在清华任讲师。他于1996年起在美国约翰霍普金斯大学攻读博士，并于2002年获得计算机科学博士学位。在清华和约翰霍普金斯大学期间，吴军博士致力于语音识别、自然语言处理，特别是统计语言模型的研究。他曾获得1995年的全国人机语音智能接口会议的最佳论文奖和2000年Eurospeech的最佳论文奖。吴军博士于2002年加入Google公司，现任Google研究院资深研究员。到Google不久，他和三个同事们开创了网络搜索反作弊的研究领域，并因此获得工程奖。2003年，他和两个同事共同成立了中日韩文搜索部门。吴军博士是当前Google中日韩文搜索算法的主要设计者。在Google其间，他领导了许多研发项目，包括许多与中文相关的产品和自然语言处理的项目，并得到了公司首席执行官埃里克.施密特的高度评价。吴军博士在国内外发表过数十篇论文并获得和申请了近十项美国和国际专利。他于2005年起，当选为约翰霍普金斯大学计算机系董事会董事。他是一个还不错的摄影爱好者，一个古典音乐迷，喜欢享受高质量的影视，比如Blu-ray的电影。平时偶尔会修理园子，甚至做点木匠活。每年旅游很多次。当然，还时不时地为Google China Blog写东西。以前读书很多，现在事情太多读得就少了
因为,Google是大数据鼻祖。很多人提起大数据,必然会想起Google 的“三驾马车”(也称谷歌三宝):GFS、MapReduce、BigTable。正所谓三篇论文定大数据之江山,它激发了大数据技术开源时代的到来,百花齐放,争相斗艳,成就了Hadoop的辉煌十载。尤其是近年来,大数据技术的发展,不论是技术的迭代,还是生态圈的繁荣,都远超人们的想象。
示意图：
对于某元素原子的核外电子排布情况，先确定该原子的核外电子数（即原子序数、质子数、核电荷数），如26号元素铁，其原子核外总共有26个电子，然后将这26个电子从能量最低的1s亚层依次往能量较高的亚层上排布，只有前面的亚层填满后。
排布原理
使电子的能量最低，例如我们站在地面上，不会觉得有什么危险；如果我们站在20层楼的顶上，再往下看时我们心理感到害怕。这是因为物体在越高处具有的势能越高，物体总有从高处往低处的一种趋势，就像自由落体一样，从来没有见过物体会自动从地面上升到空中，物体要从地面到空中，必须要有外加力的作用。
以上内容参考：百度百科-核外电子排布
等会让他赶紧染发剂对人体
简单点来说，就是Hadoop是继承了Google的MapReduce、GFS思想，开发出来的一套框架，后来又交给了Apache作为开源项目。MapReduce诞生于谷歌实验室，MapReduce与GFS、BigTable并称为谷歌的三驾马车，、而Hadoop则是谷歌三驾马车的开源实现。2003年，Google发表了一篇技术学术论文谷歌文件系统（GFS）。GFS是google公司为了存储海量搜索数据而设计的专用文件系统。2004年，Nutch创始人Doug Cutting基于Google的GFS论文实现了分布式文件存储系统名为NDFS。2004年，Google又发表了一篇技术学术论文MapReduce。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行分析运算。2005年，Doug Cutting又基于MapReduce，在Nutch搜索引擎实现了该功能。2006年，Yahoo雇用了Doug Cutting，Doug Cutting将NDFS和MapReduce升级命名为Hadoop，Yahoo开建了一个独立的团队给Goug Cutting专门研究发展Hadoop。
答：原子结构示意图 是用于表示元素原子的核电荷数和核外电子排布的图示。圆圈表示原子核，圈内的数字表示质子数目，“+”号表示质子带正电荷；弧线表示电子层，弧线上的数字表示该层上的电子数。铁原子的原子核有26个带正电的质子，核外有4个电子层，K层有2个电子，L层有8个电子，M层有14个电子，N层有2个电子。示意图如下：
因为,Google是大数据鼻祖。很多人提起大数据,必然会想起Google 的“三驾马车”(也称谷歌三宝):GFS、MapReduce、BigTable。正所谓三篇论文定大数据之江山,它激发了大数据技术开源时代的到来,百花齐放,争相斗艳,成就了Hadoop的辉煌十载。尤其是近年来,大数据技术的发展,不论是技术的迭代,还是生态圈的繁荣,都远超人们的想象。
hadoop属于阿帕奇基金会，是开源免费项目这个网址里有阿帕奇所有开源项目的源代码和安装包：archive.apache.org/dist你可以去下载任意版本的hadoop和hadoop的源代码
hadoop是开源软件。。各个公司都有版本，比如Apache Hadoop和Intel Hadoop，不过使用比较多的是apache hadoop
因为，Google是大数据鼻祖。很多人提起大数据，必然会想起Google 的“三驾马车”（也称谷歌三宝）：GFS、MapReduce、BigTable。正所谓三篇论文定大数据之江山，它激发了大数据技术开源时代的到来，百花齐放，争相斗艳，成就了Hadoop的辉煌十载。尤其是近年来，大数据技术的发展，不论是技术的迭代，还是生态圈的繁荣，都远超人们的想象。从 Spark 超越 Hadoop 勇攀高峰，到 Flink 横空出世挑战 Spark 成为大数据处理领域一颗耀眼的新星，再到如今 Google 又决心用 Apache Beam 一统天下。大数据开源技术的发展可谓是继往开来，跌宕起伏，波澜壮阔，俨然一副绵绵不断的辉煌画卷。