核心技术介绍怎么写

楼上说的对，目前国内基本就是hadoop生态做分布式存储，实时计算框架的话spark和flink。基本都是开源技术，可以多关注一下官方了解，也可以关注一些好的微信公众号如“自学帮”，里边都有各个组件的详细说明

想学习大数据技术，是不是首先要知道大数据技术有哪些呢？也好知道自己未来应该往哪个方向发展，应该重点学习哪些知识？ 抽象而言，各种大数据技术无外乎分布式存储 + 并行计算。具体体现为各种分布式文件系统和建立在其上的并行运算框架。这些软件程序都部署在多个相互连通、统一管理的物理或虚拟运算节点之上，形成集群(cluster)。因此不妨说，云计算是大数据的基础。下面介绍几种当前比较流行的大数据技术：HadoopHadoop无疑是当前很知名的大数据技术了。2003年到2004年间，Google发布了关于GFS、MapReduce和BigTable三篇技术论文(这几篇论文成为了后来云计算、大数据领域发展的重要基石)。当时一位因公司倒闭赋闲在家的程序员Doug Cutting根据前两篇论文，开发出了一个简化的山寨版GFS – HDFS,以及基于其的MapReduce计算框架，这就是Hadoop当初的版本。后来Cutting被Yahoo雇佣，得以依赖Yahoo的资源改进Hadoop,并将其贡献给了Apache开源社区。简单描述Hadoop原理：数据分布式存储，运算程序被发派到各个数据节点进行分别运算(Map)，再将各个节点的运算结果进行合并归一(Reduce)，生成结果。相对于动辄TB级别的数据，计算程序一般在KB – MB的量级，这种移动计算不移动数据的设计节约了大量网络带宽和时间，并使得运算过程可以充分并行化。在其诞生后的近10年里，Hadoop凭借其简单、易用、高效、免费、社区支持丰富等特征成为众多企业云计算、大数据实施的首选。StormHadoop虽好，却有其“死穴”其一：它的运算模式是批处理。这对于许多有实时性要求的业务就无法做到很好的支持。因此，Twitter推出了他们自己的基于流的运算框架——Storm。不同于Hadoop一次性处理所有数据并得出统一结果的作业(job)，Storm对源源导入的数据流进行持续不断的处理，随时得出增量结果。SparkHadoop的另一个致命弱点是：它的所有中间结果都需要进行硬盘存储，I/O消耗巨大，这就使得它很不适合多次迭代的运算。而大多数机器学习算法，恰恰要求大量迭代运算。2010年开始，UC Berkeley AMP Lab开始研发分布式运算的中间过程全部内存存储的Spark框架，由此在迭代计算上大大提高了效率。也因此成为了Hadoop的强有力竞争者。NoSQL 数据库NoSQL数据库可以泛指非关系型数据库，不过一般用来指称那些建立在分布式文件系统(例如HDFS)之上，基于key-value对的数据管理系统。相对于传统的关系型数据库，NoSQL数据库中存储的数据无需主键和严格定义的schema。于是，大量半结构化、非结构化数据可以在未经清洗的情况下直接进行存储。这一点满足了处理大量、高速、多样的大数据的需求。当前比较流行的NoSQL数据库有MongoDB,Redis,Cassandra,HBase等。NoSQL并不是没有SQL,而是不仅仅有(not only)SQL的意思。为了兼容之前许多运行在关系型数据库上的业务逻辑，有很多在NoSQL数据库上运行SQL的工具涌现出来，典型的例如Hive和Pig,它们将用户的SQL语句转化成MapReduce作业，在Hadoop上运行。大数据产业已进入发展的“快车道”，急需大量优秀的大数据人才作为后盾。能够在大数据行业崛起的初期进入到这个行业当中来，才有机会成为时代的弄潮儿。

核心技术又可分为技术核心和设计核心。技术核心是在基础理论基础上在确定技术路线情况下支撑产品实现的技术选择中的关键部分，如东方电机为解决水轮机转子叶片在高水头条件下振动问题，由国外对转子外条件的改善技术上转移到对转子本身的重设计采取燃气轮机涡轮叶片设计思路进行。完成这条思路的技术和工艺就是核心技术。 核心技术的特点:首先，核心技术优势具有不可复制性，是企业基于对产业、市场和用户的深刻洞察，以及环境长期孕育形成的，有独特的市场价值，能够解决重大的市场问题。　　其二，核心技术开发投入大、周期长、代价高。　　其三，核心技术开发和形成需要一个稳定的队伍、一种激励机制、一种超前的理念和一个科学的流程。它是一个科研体系一个技术体系，包括工艺、设备、配件、原材料、实验室技术、基础理论、中试、工艺样机生产等一系列评审、市场调研等等的整个一个体系。 核心技术的涵义:核心技术是企业较长时期积累的一组先进复杂的、具有较大用户价值的技术和能力的集合体，而不是单个分散的技术或服务。可以从三个方面来界定：　　一、延展性。核心技术是那些可以打开多种不同类型产品潜在市场大门的技术，毕竟企业最终交付给客户的是具体产品，而非单纯的技术模块，所以核心技术支撑的产品领域也直接决定了核心技术的最终价值，发展“未来的核心技术”，也是硅谷许多创业公司的成功之道；中星微电子通过在数字多媒体芯片技术方面的突破获得巨大的成功，数字多媒体芯片技术具体在众多“眼球行业”有广泛的应用，具体从移动数字影像产业到数码相机、宽带数字多媒体通信、数字高清晰电视，这是一个产值达数十亿美元的巨大的产业，而目前群雄纷争，尚无霸主。　　二、核心价值性。核心专长必须是使公司为用户提供根本性好处的技能。否则为一般应用技术，核心技术往往对产品的核心部件有直接的帮助，主要体现在全新产品的出现、性能的提升、成本的下降等方面，例如Google的搜索算法核心技术，使Google的检索速度大幅提升，适应当今互联网的现实需要。　　三、先进、复杂及难以模仿性。　　核心技术是企业的其它具体产品的技术平台，是公司产品平台的基础，产品平台往往是众多核心技术的集合体，通过产品平台实现了核心技术的最终价值，有效实现产品间的共享，同时还有效实现了技术的保密，产品平台是终端产品快速、低成本、低风险地推向市场的基础，通过产品平台可以有效降低产品开发成本、缩短产品开发周期、提升产品质量。

核心技术又可分为技术核心和设计核心。技术核心是在基础理论基础上在确定技术路线情况下支撑产品实现的技术选择中的关键部分，完成这条思路的技术和工艺就是核心技术。设计核心技术的代表为韩国在通讯业的发展，在外观设计上形成独特风格，结合日本等国的制造技术形成韩国核心技术。