大数据期刊案例

大数据期刊案例

"大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 "大数据"首先是指数据体量(volumes)?大，指代大型数据集，一般在10TB?规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。
数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
数据存取：关系数据库、NOSQL、SQL等。
基础架构：云存储、分布式文件存储等。
数据处理：自然语言处理(NLP，NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机"理解"自然语言，所以自然语言处理又叫做自然语言理解(NLU，NaturalLanguage Understanding)，也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。
统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。
数据挖掘：分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)
模型预测：预测模型、机器学习、建模仿真。
结果呈现：云计算、标签云、关系图等。
要理解大数据这一概念，首先要从"大"入手，"大"是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。

第一，数据体量巨大。从TB级别，跃升到PB级别。
第二，数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。
第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。
第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的"大数据"不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量

有哪些大数据分析案例?

如下：

1. 大数据应用案例之：医疗行业

1）Seton Healthcare是采用IBM最新沃森技术医疗保健内容分析预测的首个客户。该技术允许企业找到大量病人相关的临床医疗信息，通过大数据处理，更好地分析病人的信息。

在加拿大多伦多的一家医院，针对早产婴儿，每秒钟有超过3000次的数据读取。通过这些数据分析，医院能够提前知道哪些早产儿出现问题并且有针对性地采取措施，避免早产婴儿夭折。

它让更多的创业者更方便地开发产品，比如通过社交网络来收集数据的健康类App。也许未来数年后，它们搜集的数据能让医生给你的诊断变得更为精确，比方说不是通用的成人每日三次一次一片，而是检测到你的血液中药剂已经代谢完成会自动提醒你再次服药。

2）大数据配合乔布斯癌症治疗

乔布斯是世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。为此，他支付了高达几十万美元的费用。他得到的不是样本，而是包括整个基因的数据文档。医生按照所有基因按需下药，最终这种方式帮助乔布斯延长了好几年的生命。

2. 大数据应用案例之：能源行业

1）智能电网现在欧洲已经做到了终端，也就是所谓的智能电表。在德国，为了鼓励利用太阳能，会在家庭安装太阳能，除了卖电给你，当你的太阳能有多余电的时候还可以买回来。

通过电网收集每隔五分钟或十分钟收集一次数据，收集来的这些数据可以用来预测客户的用电习惯等，从而推断出在未来2~3个月时间里，整个电网大概需要多少电。有了这个预测后，就可以向发电或者供电企业购买一定数量的电。

因为电有点像期货一样，如果提前买就会比较便宜，买现货就比较贵。通过这个预测后，可以降低采购成本。

2）丹麦的维斯塔斯风能系统(Vestas Wind Systems)运用大数据，系统依靠的是BigInsights软件和IBM超级计算机，分析出应该在哪里设置涡轮发电机，事实上这是风能领域的重大挑战。在一个风电场20多年的运营过程中，准确的定位能帮助工厂实现能源产出的最大化。

为了锁定最理想的位置，Vestas分析了来自各方面的信息：风力和天气数据、湍流度、地形图、公司遍及全球的2.5万多个受控涡轮机组发回的传感器数据。这样一套信息处理体系赋予了公司独特的竞争优势，帮助其客户实现投资回报的最大化。

3. 大数据应用案例之：通信行业—通过大数据分析挽回核心客户

法国电信-Orange集团旗下的波兰电信公司Telekomunikacja Polska是波兰最大的语音和宽带固网供应商，希望有效的途径来准确预测并解决客户流失问题。

他们决定进行客户细分，方法是构建一张“社交图谱”- 分析客户数百万个电话的数据记录，特别关注 “谁给谁打了电话”以及“打电话的频率”两个方面。“社交图谱”把公司用户分成几大类，如：“联网型”、“桥梁型”、“领导型”以及“跟随型”。

这样的关系数据有助电信服务供应商深入洞悉一系列问题，如：哪些人会对可能“弃用”公司服务的客户产生较大的影响?挽留最有价值客户的难度有多大?运用这一方法，公司客户流失预测模型的准确率提升了47%。

4、大数据应用案例之：零售业—大数据帮零售企业制定促销策略

北美零售商百思买在北美的销售活动非常活跃，产品总数达到3万多种，产品的价格也随地区和市场条件而异。由于产品种类繁多，成本变化比较频繁，一年之中，变化可达四次之多。

结果，每年的调价次数高达12万次。最让高管头疼的是定价促销策略。公司组成了一个11人的团队，希望透过分析消费者的购买记录和相关信息，提高定价的准确度和响应速度。

定价团队的分析围绕着三个关键维度：

1）数量：团队需要分析海量信息。他们收集了上千万的消费者的购买记录，从客户不同维度分析，了解客户对每种产品种类的最高接受能力，从而为产品定出最佳价位。

2）多样性：团队除了分析了购买记录这种结构化的数据外，他们也利用社交媒体发帖这种新型的非结构化数据。由于消费者需要在零售商专页上点赞或留言以获得优惠券，团队利用情感分析公式来分析专页上消费者的情绪，从而判断他们对于公司的促销活动是否满意，并微调促销策略。

3）速度：为了实现价值最大化，团队对数据进行实时或近似实时的处理。他们成功地根据一个消费者既往的麦片购买记录，为身处超市麦片专柜的他/她即时发送优惠券，为客户带来便利性和惊喜。

透过这一系列的活动，团队提高了定价的准确度和响应速度，为零售商新增销售额和利润数千万美元。

5、大数据应用案例之：网络营销行业（SEM）

很多企业在做SEM的过程中，都有这样的感触：每年都会花费大量的预算在SEM推广中，但是因为关键词投入产出无法可视化，常常花了很多钱却不见具体的回报。

在竞争如此激烈的SEM市场中，企业需要一个高效的数据分析工具来尽可能地帮企业优化SEM推广，例如BDP，来帮企业节省不必要的支出，提升整体的经营绩效。

企业可借助数据平台提供的网络营销整合解决方案，打通各个搜索引擎营销（SEM）、在线客服系统和CRM系统，营销竞价人员无需掌握复杂的编程技术，简单拖拽即可生成报表，观察每一个关键词的投入和产出，分析每一个页面的转化，有效降低投放成本。

通过BDP实况分析数据，可以快速洞悉对手关键词的投放时段、地域及排名，并对其进行可视化的分析，实时监控自己和竞争对手的投放情况，了解对手的投放策略，支持自定义设置数据更新的时间点、监控频次和时段，及时调整策略。知已知彼，才能百战不殆。

6、大数据应用案例之：电商行业

意料之外：胸部最大的是新疆妹子。曾经淘宝平台显示，中国女性购买最多的文胸尺码为B罩杯。B罩杯占比达41.45%，其中又以75B的销量最好，其次是A罩杯，购买占比达25.26%，C罩杯只有8.96%。

虽然淘宝数据平台不能代表一切，但是结合现实来看，这个也具有普遍的代表性，只能感慨中国女性普遍size。在文胸颜色中，黑色最为畅销，黑色绝对是百搭，每个女性必备。

从省市排名，胸部最大的是新疆妹子。这些数据都对于文胸店铺而言是很好的参考，为店铺的库存、定价、款式选择等策略都有奠定数据基础。

7、大数据应用案例之：娱乐行业

微软大数据成功预测奥斯卡21项大奖。2013年，微软纽约研究院的经济学家大卫•罗斯柴尔德（David Rothschild）利用大数据成功预测24个奥斯卡奖项中的19个，成为人们津津乐道的话题。

今年罗斯柴尔德再接再厉，成功预测第86届奥斯卡金像奖颁奖典礼24个奖项中的21个，继续向人们展示现代科技的神奇魔力。

总的来说，大数据的终极目标并不仅仅是改变竞争环境，而是彻底扭转整个竞争环境，带来新机遇，企业需要应势而变。企业只有认识到这一点，使用合适的数据分析产品、聪明地使用和管理数据，才能在长期竞争中成为终极赢家。

有哪些关于大数据方面的期刊

如果是以下这些领域，可以考虑汉斯出版社的《数据挖掘》期刊：数据结构、数据安全与计算机安全、数据库、数据处理、知识工程、计算机信息管理系统、计算机决策支持系统、计算机应用其他学科、模式识别、人工智能其他学科。