当前位置：学术参考网 > spark并行计算论文
基于Spark的并行计算的研究.【摘要】：互联网信息技术的迅猛发展为人们的信息交流带来便利性的同时,也使得全球的数据量呈现爆发式的激增。.大数据的产生,需要对这些数据进行分类处理。.顺应大数据时代而出现的MapReduce分布式并行计算框架,由于其低门槛...
基Spark的社区发现算法并行化的研究及应用.Tag：.本文是一篇计算机论文研究，本文提出通过社交网络的社区发现算法构建通话社交网络上的家庭关系识别模型。.通过对现有的社区发现算法进行对比，本文选择Louvain算法作为家庭关系识别模型的社区发现算法...
中国科技论文在线基于Spark框架的CNM算法并行研究作者简介：郑思远（1994-），男，研究生，数据挖掘.E-mail:525084213@qq（北京邮电大学计算机院，北京，100876）行计算框架对CNM社团发现算法进行并行化实现。.利用Spark计算框架适用于迭代算法的特点，实现...
Tox知览论文网.1.1Spark对数据的操作方式.Tox知览论文网.Spark基于内存的计算方式，提高了在当前大数据环境下数据处理的实时性，同时具备了高容错性和高伸缩性，允许用户将其部署在大量廉价的硬件之上，形成集群[9]。.它和Hadoop2.X生态系统可以实现无缝的...
SparkMLlib并行训练原理.有了Spark分布式计算过程的基础，下面就可以更清楚的理解SparkMLlib并行训练的原理。.在所有主流的机器学习模型中，RandomForest的模型结构特点决定了其可以完全进行数据并行的模型训练，而GBDT的结构特点则决定了树之间只能进行串行的...
基于Spark的孤立森林算法并行化之软件工程研究.本文是一篇软件工程论文,笔者通过性能测试和扩展性测试,得出Spark-IForest在AUC指标上能够取得满意的效果，且在多核并行场景下，Spark-IForest在训练阶段和预测阶段的计算速度与单机版的Spark-IForest和Sklearn...
Spark并行计算内容总结（一）并行计算的简介并行计算：简单来讲，并行计算就是同时使用多个计算资源来解决一个计算问题，具有以下特点：一个问题被分解成为一系列可以并发执行的离散部分；每个部分可以进一步被分解成为一系列离散指令；
大数据导论第十一章CONTENTS目录PART05SparkGraphx的优势PART01分布式图计算PART06作业PART02SparkGraphx简介PART03Graphx实现PART04Graphx实例PART01分布式图计算分布式图计算数据并行与图并行计算1.数据并行系统像MapReduce和Spark等计算框架主要用于对数据集进行各种运算在数据内部之
spark查询39GB数据不要1s，10x的速度对比hadoop数据并行计算框架的基本能力，可以自动处理下面这些复杂度：scalabilitylocality-awareschedulingfaulttoleranceloadbalancingspark的提供了并行计算框架的基本能力（学习如何实现）、spark提供了抽象
集群计算引擎Spark中的内存优化研究与实现.冯琳.【摘要】：在迭代之间使用内存做数据传输的并行计算框架是当前的一个研究热点。.与传统的基于硬盘和网络的计算方式相比,使用内存可以减少数据传输的时间。.对于数据密集类型的任务，可以将运行时间...
这体现了Driver端总规划–Executor端分计算–结果最后汇总回Driver的思想,也就是分布式并行计算的思想。(四)并行计算实例采用Spark计算框架,对矢量点进行高斯核密度估计。单机...
1.一种基于Spark和聚类分析的辨识电力系统不良数据新方法2.基于Spark云计算平台的改进K近邻算法研究3.基于Spark的蚁群优化算法4.基于Spark的大数据清洗框架...
Spark——分布式并行计算概念一,概念一个资源密集型的任务,需要一组资源并行的完成,当计算机任务过重,就把计算任务拆分,然后放到多个计算节点上同时执行,这就...
顺应大数据时代而出现的MapReduce分布式并行计算框架,由于其低门槛和方便有效的大数据处理能力,备受各大企业的青睐。然而大数据价值密度小的特点让各企业逐渐察觉到MapReduce...
spark并行计算论文集合2018-07-1121:42:451.一种基于Spark和聚类分析的辨识电力系统不良数据新方法2.基于Spark云计算平台的改进K近邻算法研究...4.基于Spark的大数据清洗框架...
硕士博士毕业论文—基于Spark的并行计算的研究
58No.1农业装备与车辆工程AGRICULTURALEQUIPMENT&VEHICLEENGINEERING2020年1月January2020doi:10.3969/j.issn.1673-3142.2020.01.019基于Spa...
36No.1Jan.2019基于Spark的并行Eclat算法*冯兴杰a,b,潘轩a(中国民航大学a.计算机科学与技术学院;b.信息网络中心,天津300300)摘要:通过对Sp...
图书学位论文标准纸本馆藏外文资源发现数据库导航搜索高级检索看过本文的还看了相关文献该作者的其他文献CADAL相关文献文献详情>基于Memetic算法和Spark分布式并...
机标关键词:Memetic算法Spark分布式并行计算网络影响作者:宋超学位授予单位:西安电子科技大学授予学位:硕士学科专业:电子科学与技术导师姓名:张青富...