• 回答数

    7

  • 浏览数

    323

shengxj214
首页 > 论文问答 > 大数据的核心技术是什么并简述该技术的原理

7个回答 默认排序
  • 默认排序
  • 按时间排序

畅吃无阻

已采纳
这个只能说主流技术吧,不能说核心技术;现在国内很多公司大数据方面的主要使用时Hadoop生态圈内的技术,比如Hadoop、yarn、zookeeper、kafka、flume、spark 、hive、Hbase ,这些事使用比较多的,并不是说就只有这些技术,而且只是应用技术方便的,还有数据分析方向的等等。所以你这个问题首先就有问题,大数据是一个方向领域,就好比你问饮食是什么,饮食有哪些方面一样。
329 评论

张小电1301

122 评论

倔强小饭

人工智能数据采集是指在人工智能领域,根据特定项为训练机器学习数学模型所使用的的训练数据集的要求,在一定的既定标准下收集和衡量数据和信息的过程,并输出一套有序的数据。澳鹏提供的数据采集服务,提升规模化机器学习。作为训练数据服务的行业领先者,我们能够快速交付涵盖多种数据类型大量优质数据,包括图像、视频、语音、音频和文本,以满足客户特定 AI 项目的需求

312 评论

贪玩欢子

实时处理 flink框架,批处理spark框架。

200 评论

依然泛泛

想学习大数据技术,是不是首先要知道大数据技术有哪些呢?也好知道自己未来应该往哪个方向发展,应该重点学习哪些知识? 抽象而言,各种大数据技术无外乎分布式存储 + 并行计算。具体体现为各种分布式文件系统和建立在其上的并行运算框架。这些软件程序都部署在多个相互连通、统一管理的物理或虚拟运算节点之上,形成集群(cluster)。因此不妨说,云计算是大数据的基础。下面介绍几种当前比较流行的大数据技术:HadoopHadoop无疑是当前很知名的大数据技术了。2003年到2004年间,Google发布了关于GFS、MapReduce和BigTable三篇技术论文(这几篇论文成为了后来云计算、大数据领域发展的重要基石)。当时一位因公司倒闭赋闲在家的程序员Doug Cutting根据前两篇论文,开发出了一个简化的山寨版GFS – HDFS,以及基于其的MapReduce计算框架,这就是Hadoop当初的版本。后来Cutting被Yahoo雇佣,得以依赖Yahoo的资源改进Hadoop,并将其贡献给了Apache开源社区。简单描述Hadoop原理:数据分布式存储,运算程序被发派到各个数据节点进行分别运算(Map),再将各个节点的运算结果进行合并归一(Reduce),生成结果。相对于动辄TB级别的数据,计算程序一般在KB – MB的量级,这种移动计算不移动数据的设计节约了大量网络带宽和时间,并使得运算过程可以充分并行化。在其诞生后的近10年里,Hadoop凭借其简单、易用、高效、免费、社区支持丰富等特征成为众多企业云计算、大数据实施的首选。StormHadoop虽好,却有其“死穴”其一:它的运算模式是批处理。这对于许多有实时性要求的业务就无法做到很好的支持。因此,Twitter推出了他们自己的基于流的运算框架——Storm。不同于Hadoop一次性处理所有数据并得出统一结果的作业(job),Storm对源源导入的数据流进行持续不断的处理,随时得出增量结果。SparkHadoop的另一个致命弱点是:它的所有中间结果都需要进行硬盘存储,I/O消耗巨大,这就使得它很不适合多次迭代的运算。而大多数机器学习算法,恰恰要求大量迭代运算。2010年开始,UC Berkeley AMP Lab开始研发分布式运算的中间过程全部内存存储的Spark框架,由此在迭代计算上大大提高了效率。也因此成为了Hadoop的强有力竞争者。NoSQL 数据库NoSQL数据库可以泛指非关系型数据库,不过一般用来指称那些建立在分布式文件系统(例如HDFS)之上,基于key-value对的数据管理系统。相对于传统的关系型数据库,NoSQL数据库中存储的数据无需主键和严格定义的schema。于是,大量半结构化、非结构化数据可以在未经清洗的情况下直接进行存储。这一点满足了处理大量、高速、多样的大数据的需求。当前比较流行的NoSQL数据库有MongoDB,Redis,Cassandra,HBase等。NoSQL并不是没有SQL,而是不仅仅有(not only)SQL的意思。为了兼容之前许多运行在关系型数据库上的业务逻辑,有很多在NoSQL数据库上运行SQL的工具涌现出来,典型的例如Hive和Pig,它们将用户的SQL语句转化成MapReduce作业,在Hadoop上运行。大数据产业已进入发展的“快车道”,急需大量优秀的大数据人才作为后盾。能够在大数据行业崛起的初期进入到这个行业当中来,才有机会成为时代的弄潮儿。

325 评论

criminalabuse

大数据的核心技术主要在于创新,然后创新的数据在一种合理化的一种要求,两者之间的一个共性

281 评论

Queena兜兜

大数据技术太厉害了,不得不佩服现在科技的发展,长见识了

82 评论

相关问答

  • 数据分析技术的核心

    大数据开发涉及到的关键技术:大数据采集技术大数据采集技术是指通过 RFID 数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得各种类型的结构化、半结构

    肥仔美金 8人参与回答 2023-12-07
  • 什么是数据库技术的核心

    数据库系统(DBS)包括DB和DBMS,而DBMS则是它的核心。我在学校买的二级C资料里见过,不会有错

    沈阳老五0459 5人参与回答 2023-12-10
  • 大数据是核心技术

    大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力

    北方小渔 9人参与回答 2023-12-08
  • 技术的核心是什么

    通信技术

    sizonghang 3人参与回答 2023-12-05
  • 数据科学的核心技术

    想学习大数据技术,是不是首先要知道大数据技术有哪些呢?也好知道自己未来应该往哪个方向发展,应该重点学习哪些知识? 抽象而言,各种大数据技术无外乎分布式存储 +

    ace922apple 5人参与回答 2023-12-11