"大数据"是一个体量特别大,数据类别特别大的数据集,并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 "大数据"首先是指数据体量(volumes)?大,指代大型数据集,一般在10TB?规模左右,但在实际应用中,很多企业用户把多个数据集放在一起,已经形成了PB级的数据量;其次是指数据类别(variety)大,数据来自多种数据源,数据种类和格式日渐丰富,已冲破了以前所限定的结构化数据范畴,囊括了半结构化和非结构化数据。接着是数据处理速度(Velocity)快,在数据量非常庞大的情况下,也能够做到数据的实时处理。最后一个特点是指数据真实性(Veracity)高,随着社交数据、企业内容、交易与应用数据等新数据源的兴趣,传统数据源的局限被打破,企业愈发需要有效的信息之力以确保其真实性及安全性。从所周知,大数据已经不简简单单是数据大的事实了,而最重要的现实是对大数据进行分析,只有通过分析才能获取很多智能的,深入的,有价值的信息。那么越来越多的应用涉及到大数据,而这些大数据的属性,包括数量,速度,多样性等等都是呈现了大数据不断增长的复杂性,所以大数据的分析方法在大数据领域就显得尤为重要,可以说是决定最终信息是否有价值的决定性因素。基于如此的认识,大数据分析普遍存在的方法理论有哪些呢?大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了。大数据分析的理论核心就是数据挖掘算法,各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点,也正是因为这些被全世界统计学家所公认的各种统计方法(可以称之为真理)才能深入数据内部,挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据,如果一个算法得花上好几年才能得出结论,那大数据的价值也就无从说起了。大数据分析最终要的应用领域之一就是预测性分析,从大数据中挖掘出特点,通过科学的建立模型,之后便可以通过模型带入新的数据,从而预测未来的数据。大数据分析广泛应用于网络数据挖掘,可从用户的搜索关键词、标签关键词、或其他输入语义,分析,判断用户需求,从而实现更好的用户体验和广告匹配。大数据分析离不开数据质量和数据管理,高质量的数据和有效的数据管理,无论是在学术研究还是在商业应用领域,都能够保证分析结果的真实和有价值。 大数据分析的基础就是以上五个方面,当然更加深入大数据分析的话,还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。当下我国大数据研发建设应在以下四个方面着力一是建立一套运行机制。大数据建设是一项有序的、动态的、可持续发展的系统工程,必须建立良好的运行机制,以促进建设过程中各个环节的正规有序,实现统合,搞好顶层设计。二是规范一套建设标准。没有标准就没有系统。应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准,为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。三是搭建一个共享平台。数据只有不断流动和充分共享,才有生命力。应在各专用数据库建设的基础上,通过数据集成,实现各级各类指挥信息系统的数据交换和数据共享。四是培养一支专业队伍。大数据建设的每个环节都需要依靠专业人员完成,因此,必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。
《大数据技术对财务管理的影响》
摘 要:大数据可以快速帮助财务部门建立财务分析工具,而不是单纯做账。大数据应该不仅仅局限于本单位的微观数据,更为重要的关注其他单位的宏观数据。大数据技术不仅带来了企事业单位财务数据搜集的便利和挑战,而且也衍生出了诸多关于单位人员个人信息保密等问题的积极探索。本文主要研究大数据技术(meta-data或big data)对企业或事业单位财务管理的影响,以期为财务数据管理的安全性提供一种分析的依据和保障。
关键词:大数据;财务管理;科学技术;知识进步
数据是一个中性概念。人类自古以来几千年的辉煌变迁,无外乎就是数据的搜集和使用过程而已。纵观古今中外的人际交流与合作,充满着尔虞我诈和勾心斗角,那么他们在争什么呢?实际上是在争夺信息资源;历史上品相繁多的战争,实际上不是在维持什么所谓的正义和和平,抑或为了人间的正道,而是在争夺数据的使用权;“熙熙攘攘皆为利往、攘攘熙熙皆为利来”的世俗变迁逻辑已经让位于数据游戏的哲学法则。人类自英国产业革命以来所陆续发明的技术,尽管被人们美其名曰“第四次科技革命的前沿技术”,实际上不过就是“0”和“1”两个数字的嬉戏而已。正如有学者指出的,汽车技术、生命科学技术、基因技术、原子能技术、宇宙航天技术、纳米技术、电子计算机技术,看起来美轮美奂,实则隐含着杀机,那就是由于人们把技术当成了目的后,导致了“技术专制”后的“技术腐败”和“技术灾难”。人类一方面在懒惰基因的诱惑下,发明了诸多所谓的机械装置,中国叫“机巧”;另一方面又在勤奋的文化下,发明了诸多抑制懒惰的制度和机制。本来想寻求节俭,结果却越来越奢侈;本来想节约,结果却越来越浪费;本来想善良,结果却越来越邪恶;本来想美好,结果却越来越丑陋。正如拉美特里所说:“人是什么?一半是天使,一半是野兽。当人拼命想成为天使的时候,其实他会逐渐变成野兽;当人想极力崇拜野兽的时候,结果会逐渐接近天使。”我们不是在宣讲宿命的技术,我们只是在预测技术的宿命。本文主要研究大数据技术(meta-data或big data)对企业或事业单位财务管理的影响,以期为财务数据管理的安全性提供一种分析的依据和保障。
一、大数据技术加大了财务数据收集的难度
财务数据的收集是一个复杂的系统工程,国际上一般采用相对性原则,即首先利用不完全统计学的知识对数据进行初步的计算,接着对粗糙的数据进行系统的罗列,最后对类型化的数据进行明分梳理。使用者如果想进入该数据库,就必须拥有注册的用户名和密码。由于国际上对于网络数据的监督均采取了实名注册的模式,所以一旦该用户进入到核心数据库之后想窃取数据,一般都会暴露自己的bug地址源,网管可以循着这一唯一性存留,通过云计算迅速找到该网络终端的IP地址,于是根据人机互动原理,再加上各种网吧所安装的监控平台,可以迅速找到数据库的剽窃者。如果按照上述数据变迁逻辑,那么财务数据的收集似乎变得易如反掌,而事实并非如此。因为:①数据的量化指标受制于云计算服务器的安全性。当云服务器受到不可抗力的打击,如地震、水患、瘟疫、鼠疫、火灾、原子能泄露或各种人为破坏的作用,数据会呈现离散型散落。这时的数据丢失会演变成数字灾难;②各种数据版权的拥有者之间很难实现无缝隙对接。比如在经过不同服务器的不同数据流之间,很难实现现实意义上的自由流通。正如专家所指出的,教育服务器的事业单位的人员数据、行政部门人事管理部门的保密性数据、军事单位的军事数据、医疗卫生事业的数据、工商注册数据、外事数据等在无法克服实际权力的分割陷阱之前,很难实现资源的共享,这时对数据的所谓搜集都会演化为“不完全抽样”的数字假象。由此而衍生的数据库充其量只是一部分无用的质料而已。
二、大数据技术影响了财务数据分析的准确性
对于搞财务管理的人来说,财务数据的收集只是有效实现资源配置的先决条件,真正有价值的或者说最为关键的环节是对财务数据的分析。所谓“财务数据分析”是指专业的会计人员或审计人员对纷繁复杂的单位人力资源信息进行“去魅”的过程。所谓“去魅”就是指去粗取精、去伪存真、由此及彼、由表及里、内外互联,彼此沟通、跨级交流、跨界合作。在较为严格的学术意义上,分析的难度广泛存在与财务工作人员的日常生活中。大数据技术尽管为数据的搜集提供了方便法门,但同时加大了财务人员的工作量和工作难度。原先只是在算盘或者草稿纸上就可以轻松解决的数据计算,现在只能借助于计算机和云图建模。对于一些借助于政治权力因素或者经济利益因素,抑或是借助于自身的人际关系因素上升到财务管理部门的职工来说,更大的挑战开始了。他们不知道如何进行数据流的图谱分析,不知道基于计算机软件技术的集成线路技术的跌级分类,不知道基于非线性配置的液压传动技术的模板冲压技术,不知道逆向网络模型来解决外部常态财务变量的可篡改问题。由于技术不过硬,导致了领导安排的任务不能在规定的时间内完成,即时仓促做完的案例,也会因为数据分析技术的落后而授人以柄,有的脾气不好的领导可能会大发雷霆;脾气好的领导只是强压着内心的怒火,那种以静制动的魄力和安静更是摄魂夺魄。所以说数据分析难度的增加不是由于财务人员的良心或善根缺失,在很大程度上是由于技术的进步和大数据理念给我们带来的尖锐挑战。对于普通的没有家庭和社会背景的财务管理人员来说,能做的或者说唯一可做的就是尊重历史发展的周期律,敬畏生生不息的科学革命,认真领会行政首长的战略意图,提升自己的数据分析技术,升华在自身的“硬实力”。否则觊觎于领导的良心发现和疏忽大意,期望技术的静止或者倒退,抑或是在违法犯罪之后天真的认为可以相安无事,可能都只会落得“恢恢乎如丧家之犬”的境遇。
三、大数据技术给财务人事管理带来了挑战
一个单位的财务人事管理牵扯到方方面面的问题,其意义不可小视。一般来讲,单位在遴选财务管理部门管理人员的时候,大多从德才绩行四个方面全面权衡。然而这种“四有标准”却隐含着潜在的危机和不可避免的长远威胁,这其中的缘由就在于人性的复杂性和不可猜度性。历史和现实一再告诉人们,单纯看眼前的表现和话语的华丽,不仅不能对人才的素质进行准确的评价,而且还会导致官员的远期腐败和隐性腐败。对于中国的腐败,国人大多重视了制度和道德的缘起,却往往忽视了财务管理的因素。试想如果财务管理人员牢牢践行“焦裕禄精神”,不对任何政治权力开绿灯,国有资产又如何流出国库而了无人知晓呢?事实上,中国的所有腐败,不论是国有资产的国外流失抑或是国内流失,都在很大程度上与财务人员有关,可能有些管理人员会强调那不是自己的责任,出纳签字是领导的授意,会计支出费用那是长官的意思清晰表示。实际上,处于权力非法授予的签字、盖章、取现、流转和变相洗钱都是违法的,甚至是犯罪的。间接故意也是应当追究责任的。值得高兴的是,伴随着数字模拟技术的演进,财务管理中的腐败现象和人事管理科学化问题得到了极大的改善,相关领导伸手向财务要钱的行为,不仅会受到数据进入权限的限制,而且还会受到跟数据存留的监控,只要给予单位科技人员以足够的权限,想查找任何一笔资金的走向就变得非常简单,而且对于每一笔资金的经手者的信息也会了如指掌。这在一定程度上减少了只会指挥、不懂电脑的首长的孵化几率。
四、大数据技术加大了单位信息保密的难度
IMA(美国注册会计师协会)研发副总裁Raef・Lawson博士曾经指出:“客观上讲,大数据技术的正面效用是非常明显的,但一个不容回避的事实是大数据技术为财务信息的安全性提出了越来越严峻的挑战。我们已经注意到,在欧洲大陆、美洲大陆已经存在基于数据泄露而产生的各种抗议活动,这些活动牵扯到美国的数据窃听丑闻、俄罗斯对军事数据的强制性战友举动、以色列数据专家出卖阿拉伯世界经济数据的案件、在东方的中国香港一部分利用数据的窃取而发家致富的顶尖级黑客专家。”在数据集成的拓扑领域,大数据技术的保密性挑战肇始于蚁群算法的先天性缺陷。本来数据流的控制是依靠各种所谓的交易密码,实际上这些安全密码只是数据的另一种分类和组合而已。在数据的非线性组合和线路的真空组装模式下,任何密码都只是阻挡了技术侏儒的暂时性举动,而没有超出技术本身的惰性存在。当一个hacker掌握了源代码的介质性接洽技术之后,所剩下的就是信息和数据的搜集了,只要有足够的数据源,信息的户的几乎是轻而易举的。
2003年,北京的一家名为飞塔公司的防火墙安全软件在中关村科技城闪亮上市。该安全控制软件的开发者随机开发了一款名曰MAZE天网的软件,并且采用了“以其之矛攻其之盾”的攻防策略。测试的结果是尽管maze的源代码采用了24进制蝶形加密技术,但 FortiGate防火墙技术仍然能够阻挡住善意木马对电脑终端用户信息的剽窃和非法利用。FortiWeb已经通过全球权威的ICSA认证,可以阻断如跨站脚本、SQL注入、缓冲区溢出、远程文件包含、拒绝服务,同时防止敏感数据库外泄,为企事业单位Web应用提供了专业级的应用安全防护。飞塔公司之所以耗费人力和物力去开发这一新型的换代产品,就在于大数据时代对单位信息保密性的冲击。试想,如果一个单位连职工最起码的个人信息都不能安全存储的话,那么财务管理的科学性和人本性将从何谈起?只能说,即使在人权保护意识相对薄弱的法治环境里,我们也应该尽量提升自己的保密意识,加强对个人信息的保护和合理运用。
作者简介:田惠东(1967- ),女,汉族,河北定兴人,副高级会计师,本科学历,研究方向:财务管理,单位:保定市第一医院
大数据论文【1】大数据管理会计信息化解析
摘要:
在大数据时代下,信息化不断发展,信息化手段已经在我国众多领域已经得到较为广泛的应用和发展,在此发展过程,我国的管理会计信息化的应用和发展也得到了非常多的关注。
同时也面临着一些问题。
本文通过分析管理会计信息化的优势和应用现状以及所面临的的问题,以供企业在实际工作中对这些问题的控制和改善进行参考和借鉴。
关键词:
大数据;管理会计信息化;优势;应用现状;问题
在这个高速发展的信息时代,管理会计的功能已经由提供合规的信息不断转向进行价值创造的资本管理职能了。
而管理会计的创新作为企业管理创新的重要引擎之一,在大数据的时代下,管理会计的功能是否能够有效的发挥,与大数据的信息化,高效性、低廉性以及灵活性等特点是密不可分的。
一、大数据时代下管理会计信息化的优势及应用现状
在大数据时代下,管理者要做到有效地事前预测、事后控制等管理工作,在海量类型复杂的数据中及时高效的寻找和挖掘出价值密度低但是商业价值高的信息。
而管理会计信息化就能够被看做是大数据信息系统与管理会计的一个相互结合,可以认为是通过一系列系统有效的现代方法,
不断挖掘出有价值的财务会计方面的信息和其他非财务会计方面的综合信息,随之对这些有价值的信息进行整理汇总、分类、计算、对比等有效的分析和处理,
以此能够做到满足企业各级管理者对各个环节的一切经济业务活动进行计划、决策、实施、控制和反馈等的需求。
需要掌控企业未来的规划与发展方向就能够通过预算管理信息化来实现;需要帮助管理者优化企业生产活动就能够通过成本管理信息化对
供产销一系列流程进行监控来实现;需要对客观环境的变化进行了解以此帮助管理者为企业制定战略性目标能够通过业绩评价信息化来实现。
(一)预算管理信息化
在这个高速发展的信息时代下,预算管理对于企业管理而言是必不可少的,同时对企业的影响仍在不断加强。
正是因为企业所处的环境是瞬息万变,与此同此,越来越多的企业选择多元化发展方式,选择跨行业经营的模式,经营范围的跨度不断增大。
这就需要企业有较强的市场反应能力和综合实力,对企业的预算管理提出了新的发展挑战要求。
虽然不同企业的经营目标各不相同,但对通过环境的有效分析和企业战略的充分把握,从而进行研究和预测市场的需求是如出一辙的。
企业对需求的考量进而反应到企业的开发研发、成本控制以及资金流安排等各个方面,最终形成预算报表的形式来体现企业对未来经营活动和成果的规划与预测,
从而完成对企业经营活动事后核算向对企业经营活动全过程监管控制的转变。
然而从2013国务院国资委研究中心和元年诺亚舟一起做的一项针对大型国有企业的调研结果中得出,仅仅有4成的企业完成了预算管理的信息化应用,
大型的国有企业在预算管理信息化应用这方面的普及率都不高,足以说明我国整体企业的应用情况也不容乐观。
所以从整体上来讲,预算管理信息化的应用并未在我国企业中获得广泛的普及。
(二)成本管理信息化
企业由传统成本管理企业向精益成本管理企业转换是企业发展壮大的必然选择。
而基于大数据信息系统能够为企业提供对计划、协调、监控管理以及反馈等过程中各类相关成本进行全面集成化管理。
而进行成本管理的重中之重就是对企业价值链进行分析以及对企业价值流进行管理。
企业能够通过成本管理信息化对有关生产经营过程中的原材料等进行有效地信息记录及进行标示,并结合在财务信息系统中产生的单独标签,
使与企业有关的供应商、生产经营过程和销售等的过程全都处于企业的监控。
以此企业可以做到掌握生产经营的全过程,即能够通过财务信息系统实时了解到原材料的消耗,产品的入库及出库等一切企业生产经营活动。
同时,结合价值链的分析和价值流管理,企业通过将生产过程进行有效地分解,形成多条相互连接的价值链,运用信息化手段对企业的
每条价值链的成本数进行有效的追踪监管和综合分析,以此为基础为企业提出改进方案,并使用历史成本进行预测,达到减少企业的不需要的损失及浪费,最终达到优化生产经营过程。
虽然成本管理信息化是企业发展的一个重要趋势,以大数据信息技术为基础的信息系统可以使得企业完成全面的成本管理,给企业的成本管理带来了巨大的推动力。
然而信息化在成本控制方面的实施效果并不是很理想。
(三)业绩评价信息化
业绩评价是对企业财务状况以及企业的经营成果的一种反馈信息,当企业的绩效处于良好状态,代表企业的发展状况良好,
也反映了企业现阶段人才储备充足,发展处于上升期,由此企业定制扩张战略计划。
而当企业的绩效不断减少,代表企业的发展状况在恶化,也反映了企业的人才处在流失状态,企业在不断衰退,此时企业应该制定收缩战略计划。
企业进行业绩评价信息化的建设,通过对信息系统中的各类相关数据进行综合分析,有效地将对员工的业绩评价与企业的财务信息、顾客反馈、学习培训等各方面联系在一起。
对于企业而言,具备一套完善且与企业自身相适应的业绩评级和激励体系是企业财务信息系统的一个重要标志,也是企业组织内部关系成熟的一种重要表现。
然而,如今对于具备专业的业绩评价信息化工具平衡分卡等在企业的发展过程中并未得到广泛的应用。
其中最大的原因应该是对业绩评价的先进办法对于数据信息的要求比较简单,通常可以由传统方式获得。
所以,现如今能够完全将业绩评价纳入企业信息系统,并能够利用业绩评价信息化来提高企业管理效率的企业数量并不多。
二、大数据时代下管理会计信息化存在的主要问题
(一)企业管理层对管理会计信息化不重视
我国企业管理层对企业管理会计信息化建设存在着不重视的问题。
首先,对管理会计信息化概念和建设意义没有正确的认识,有甚至由于对于企业自身的认识不够充分,会对管理会计信息化的趋势产生了质疑和抵触心理。
再者,只有在一些发展较好的企业中进行了管理会计信息化的建设工作及应用,但是,企业应用所产生的效果并不是很理想,进而促使管理会计信息化在企业的发展速度缓慢。
(二)管理会计信息化程度较低
大数据时代下,信息化手段已经在我国众多领域已经得到较为广泛的应用和发展,在此发展过程,我国的管理会计信息化的应用和发展也得到了非常多的关注。
但是,由于管理会计在我国受重视程度不够,企业在进行管理会计信息化建设的过程中对与软件的设计和应用也要求较高,所以与管理会计信息化建设相关的基础建设还相对较落后。
(三)管理会计信息化理论与企业经管机制不协调
虽然随着国家政策鼓励和扶持,很多行业的不断涌现出新的企业,企业数量不断增多,但是由于这些企业在规模以及效益等方面都存在着较大的差距,同时在管理决策方面也产生了显著地差别。
很多企业在发展的过程中并没有实现真正的权责统一,产生了管理层短视行为,没有充分考虑企业的长远利益等管理水平低下的问题。
三、管理会计信息化建设的措施
(一)适应企业管理会计信息化发展的外部环境
企业在进行管理会计信息化建设时,要结合企业所处的外部环境进行全方面的规划和建设。
在企业进行规划和建设时,国家的法律法规等相关政策占据着十分重要的位置,需要对市场经济发展的相关法律法规进行充分理解和考虑,为企业管理会计信息化建设提供好的法律环境。
管理会计信息化系统的正常运转要求企业处于相对较好的环境之中,以此充分发挥出其应有的作用。
(二)管造合适的管理会计信息化发展内部环境
企业管理会计信息化的良好发展要求企业能够提供良好的内部环境。
树立有效推进企业管理会计信息化建设的企业文化,企业文化作为企业股东、懂事、管理层以及每个员工的价值观念体现,
有利于各级员工都能够正确认识到管理会计信息化建设的重要性,接受管理会计信息化的价值取向。
再者,企业要储备足够的管理会计人才,为管理会计信息化的建设提供源源不断的血液。
同时,为企业管理会计信息化建设提供强大的资金保障。
最后,对企业内部控制体系不断完善,为企业创造长足的生命力,为管理会计信息化赖以生存的环境。
(三)开发统一的企业信息化管理平台
在大数据时代下,信息化不断发展,对于企业而言,会同时使用多种不同的信息系统进行组合使用,并且这种情况在未来也可能将持续下去,企业需要建立综合统一的企业信息化管理平台。
四、结束语
管理会计信息化已经成为企业发展的重要趋势。
同时也面对着一些问题。
因此,相应的措施和不断地完善和改进是必不可少的,以此才能够促进管理会计信息化的不断发展。
作者:李瑞君 单位:河南大学
参考文献:
[1]冯巧根.
管理会计的理论基础与研究范式[J].
会计之友,2014(32).
[2]张继德,刘向芸.
我国管理会计信息化发展存在的问题与对策[J].
会计之友,2014(21).
[3]韩向东.
管理会计信息化的应用现状和成功实践[J].
会计之友,2014(32).
大数据论文【2】大数据会计信息化风险及防范
摘要:
随着科学技术的不断进步和社会经济的不断发展,大数据时代的发展速度加快,同时也推动着会计信息化的发展进程,提高了企业会计信息化工作的效率和质量,资源平台的共享也大大降低了会计信息化的成本。
但大数据时代下会计信息化的发展也存在一定的风险。
本文将会对大数据时代下会计信息化中所存在的风险给予介绍,并制定相应的防范对策,从而使大数据时代在避免给会计
信息化造成不良影响的同时发挥其巨大优势来促进会计信息化的发展进程。
关键词:
大数据时代;会计信息化;风险;防范
前言
近年来经济全球化进程不断加快,经济与科技的迅猛发展,我国在经历了农业、工业和信息时代以后终于踏入了大数据时代。
大数据是指由大量类型繁多、结构复杂的数据信息所组成的`数据集合,运用云计算的数据处理模式对数据信息进行集成共享、
交叉重复使用而形成的智力能力资源和信息知识服务能力。
大数据时代下的会计信息化具有极速化、规模性、智能性、多元化、和即时高效等特点,这使得会计从业人员可以更方便快捷的使用数
据信息,并在降低经济成本的同时有效实现资源共享,信息化效率逐渐增强。
但同时大数据时代下的会计信息化也面临着风险,应及时有效地提出防范对策,以确保会计信息化的长久发展。
一、大数据时代对会计信息化发展的影响
(一)提供了会计信息化的资源共享平台
进入大数据时代以来,我国的科学技术愈加发达,会计信息化也在持续地走发展和创新之路,网络信息资源平台的建立使数据与信息资源可以共同分享,平台使用者之间可以相互借鉴学习。
而最为突出的成就便是会计电算化系统的出现,它改变了传统会计手工做账的方式,实现了记账、算账和报账的自动化模式,
提高了会计数据处理的正确性和规范性,为信息化管理打下基础,推进了会计技术的创新和进一步发展。
但是“信息孤岛”的出现证明了会计电算化并没有给会计信息化的发展带来实质性的变化。
撰写大数据导论论文需要按照一定的步骤进行,下面是一个简单的指南:
大数据论文【1】大数据管理会计信息化解析
摘要:
在大数据时代下,信息化不断发展,信息化手段已经在我国众多领域已经得到较为广泛的应用和发展,在此发展过程,我国的管理会计信息化的应用和发展也得到了非常多的关注。
同时也面临着一些问题。
本文通过分析管理会计信息化的优势和应用现状以及所面临的的问题,以供企业在实际工作中对这些问题的控制和改善进行参考和借鉴。
关键词:
大数据;管理会计信息化;优势;应用现状;问题
在这个高速发展的信息时代,管理会计的功能已经由提供合规的信息不断转向进行价值创造的资本管理职能了。
而管理会计的创新作为企业管理创新的重要引擎之一,在大数据的时代下,管理会计的功能是否能够有效的发挥,与大数据的信息化,高效性、低廉性以及灵活性等特点是密不可分的。
一、大数据时代下管理会计信息化的优势及应用现状
在大数据时代下,管理者要做到有效地事前预测、事后控制等管理工作,在海量类型复杂的数据中及时高效的寻找和挖掘出价值密度低但是商业价值高的信息。
而管理会计信息化就能够被看做是大数据信息系统与管理会计的一个相互结合,可以认为是通过一系列系统有效的现代方法,
不断挖掘出有价值的财务会计方面的信息和其他非财务会计方面的综合信息,随之对这些有价值的信息进行整理汇总、分类、计算、对比等有效的分析和处理,
以此能够做到满足企业各级管理者对各个环节的一切经济业务活动进行计划、决策、实施、控制和反馈等的需求。
需要掌控企业未来的规划与发展方向就能够通过预算管理信息化来实现;需要帮助管理者优化企业生产活动就能够通过成本管理信息化对
供产销一系列流程进行监控来实现;需要对客观环境的变化进行了解以此帮助管理者为企业制定战略性目标能够通过业绩评价信息化来实现。
(一)预算管理信息化
在这个高速发展的信息时代下,预算管理对于企业管理而言是必不可少的,同时对企业的影响仍在不断加强。
正是因为企业所处的环境是瞬息万变,与此同此,越来越多的企业选择多元化发展方式,选择跨行业经营的模式,经营范围的跨度不断增大。
这就需要企业有较强的市场反应能力和综合实力,对企业的预算管理提出了新的发展挑战要求。
虽然不同企业的经营目标各不相同,但对通过环境的有效分析和企业战略的充分把握,从而进行研究和预测市场的需求是如出一辙的。
企业对需求的考量进而反应到企业的开发研发、成本控制以及资金流安排等各个方面,最终形成预算报表的形式来体现企业对未来经营活动和成果的规划与预测,
从而完成对企业经营活动事后核算向对企业经营活动全过程监管控制的转变。
然而从2013国务院国资委研究中心和元年诺亚舟一起做的一项针对大型国有企业的调研结果中得出,仅仅有4成的企业完成了预算管理的信息化应用,
大型的国有企业在预算管理信息化应用这方面的普及率都不高,足以说明我国整体企业的应用情况也不容乐观。
所以从整体上来讲,预算管理信息化的应用并未在我国企业中获得广泛的普及。
(二)成本管理信息化
企业由传统成本管理企业向精益成本管理企业转换是企业发展壮大的必然选择。
而基于大数据信息系统能够为企业提供对计划、协调、监控管理以及反馈等过程中各类相关成本进行全面集成化管理。
而进行成本管理的重中之重就是对企业价值链进行分析以及对企业价值流进行管理。
企业能够通过成本管理信息化对有关生产经营过程中的原材料等进行有效地信息记录及进行标示,并结合在财务信息系统中产生的单独标签,
使与企业有关的供应商、生产经营过程和销售等的过程全都处于企业的监控。
以此企业可以做到掌握生产经营的全过程,即能够通过财务信息系统实时了解到原材料的消耗,产品的入库及出库等一切企业生产经营活动。
同时,结合价值链的分析和价值流管理,企业通过将生产过程进行有效地分解,形成多条相互连接的价值链,运用信息化手段对企业的
每条价值链的成本数进行有效的追踪监管和综合分析,以此为基础为企业提出改进方案,并使用历史成本进行预测,达到减少企业的不需要的损失及浪费,最终达到优化生产经营过程。
虽然成本管理信息化是企业发展的一个重要趋势,以大数据信息技术为基础的信息系统可以使得企业完成全面的成本管理,给企业的成本管理带来了巨大的推动力。
然而信息化在成本控制方面的实施效果并不是很理想。
(三)业绩评价信息化
业绩评价是对企业财务状况以及企业的经营成果的一种反馈信息,当企业的绩效处于良好状态,代表企业的发展状况良好,
也反映了企业现阶段人才储备充足,发展处于上升期,由此企业定制扩张战略计划。
而当企业的绩效不断减少,代表企业的发展状况在恶化,也反映了企业的人才处在流失状态,企业在不断衰退,此时企业应该制定收缩战略计划。
企业进行业绩评价信息化的建设,通过对信息系统中的各类相关数据进行综合分析,有效地将对员工的业绩评价与企业的财务信息、顾客反馈、学习培训等各方面联系在一起。
对于企业而言,具备一套完善且与企业自身相适应的业绩评级和激励体系是企业财务信息系统的一个重要标志,也是企业组织内部关系成熟的一种重要表现。
然而,如今对于具备专业的业绩评价信息化工具平衡分卡等在企业的发展过程中并未得到广泛的应用。
其中最大的原因应该是对业绩评价的先进办法对于数据信息的要求比较简单,通常可以由传统方式获得。
所以,现如今能够完全将业绩评价纳入企业信息系统,并能够利用业绩评价信息化来提高企业管理效率的企业数量并不多。
二、大数据时代下管理会计信息化存在的主要问题
(一)企业管理层对管理会计信息化不重视
我国企业管理层对企业管理会计信息化建设存在着不重视的问题。
首先,对管理会计信息化概念和建设意义没有正确的认识,有甚至由于对于企业自身的认识不够充分,会对管理会计信息化的趋势产生了质疑和抵触心理。
再者,只有在一些发展较好的企业中进行了管理会计信息化的建设工作及应用,但是,企业应用所产生的效果并不是很理想,进而促使管理会计信息化在企业的发展速度缓慢。
(二)管理会计信息化程度较低
大数据时代下,信息化手段已经在我国众多领域已经得到较为广泛的应用和发展,在此发展过程,我国的管理会计信息化的应用和发展也得到了非常多的关注。
但是,由于管理会计在我国受重视程度不够,企业在进行管理会计信息化建设的过程中对与软件的设计和应用也要求较高,所以与管理会计信息化建设相关的基础建设还相对较落后。
(三)管理会计信息化理论与企业经管机制不协调
虽然随着国家政策鼓励和扶持,很多行业的不断涌现出新的企业,企业数量不断增多,但是由于这些企业在规模以及效益等方面都存在着较大的差距,同时在管理决策方面也产生了显著地差别。
很多企业在发展的过程中并没有实现真正的权责统一,产生了管理层短视行为,没有充分考虑企业的长远利益等管理水平低下的问题。
三、管理会计信息化建设的措施
(一)适应企业管理会计信息化发展的外部环境
企业在进行管理会计信息化建设时,要结合企业所处的外部环境进行全方面的规划和建设。
在企业进行规划和建设时,国家的法律法规等相关政策占据着十分重要的位置,需要对市场经济发展的相关法律法规进行充分理解和考虑,为企业管理会计信息化建设提供好的法律环境。
管理会计信息化系统的正常运转要求企业处于相对较好的环境之中,以此充分发挥出其应有的作用。
(二)管造合适的管理会计信息化发展内部环境
企业管理会计信息化的良好发展要求企业能够提供良好的内部环境。
树立有效推进企业管理会计信息化建设的企业文化,企业文化作为企业股东、懂事、管理层以及每个员工的价值观念体现,
有利于各级员工都能够正确认识到管理会计信息化建设的重要性,接受管理会计信息化的价值取向。
再者,企业要储备足够的管理会计人才,为管理会计信息化的建设提供源源不断的血液。
同时,为企业管理会计信息化建设提供强大的资金保障。
最后,对企业内部控制体系不断完善,为企业创造长足的生命力,为管理会计信息化赖以生存的环境。
(三)开发统一的企业信息化管理平台
在大数据时代下,信息化不断发展,对于企业而言,会同时使用多种不同的信息系统进行组合使用,并且这种情况在未来也可能将持续下去,企业需要建立综合统一的企业信息化管理平台。
四、结束语
管理会计信息化已经成为企业发展的重要趋势。
同时也面对着一些问题。
因此,相应的措施和不断地完善和改进是必不可少的,以此才能够促进管理会计信息化的不断发展。
作者:李瑞君 单位:河南大学
参考文献:
[1]冯巧根.
管理会计的理论基础与研究范式[J].
会计之友,2014(32).
[2]张继德,刘向芸.
我国管理会计信息化发展存在的问题与对策[J].
会计之友,2014(21).
[3]韩向东.
管理会计信息化的应用现状和成功实践[J].
会计之友,2014(32).
大数据论文【2】大数据会计信息化风险及防范
摘要:
随着科学技术的不断进步和社会经济的不断发展,大数据时代的发展速度加快,同时也推动着会计信息化的发展进程,提高了企业会计信息化工作的效率和质量,资源平台的共享也大大降低了会计信息化的成本。
但大数据时代下会计信息化的发展也存在一定的风险。
本文将会对大数据时代下会计信息化中所存在的风险给予介绍,并制定相应的防范对策,从而使大数据时代在避免给会计
信息化造成不良影响的同时发挥其巨大优势来促进会计信息化的发展进程。
关键词:
大数据时代;会计信息化;风险;防范
前言
近年来经济全球化进程不断加快,经济与科技的迅猛发展,我国在经历了农业、工业和信息时代以后终于踏入了大数据时代。
大数据是指由大量类型繁多、结构复杂的数据信息所组成的`数据集合,运用云计算的数据处理模式对数据信息进行集成共享、
交叉重复使用而形成的智力能力资源和信息知识服务能力。
大数据时代下的会计信息化具有极速化、规模性、智能性、多元化、和即时高效等特点,这使得会计从业人员可以更方便快捷的使用数
据信息,并在降低经济成本的同时有效实现资源共享,信息化效率逐渐增强。
但同时大数据时代下的会计信息化也面临着风险,应及时有效地提出防范对策,以确保会计信息化的长久发展。
一、大数据时代对会计信息化发展的影响
(一)提供了会计信息化的资源共享平台
进入大数据时代以来,我国的科学技术愈加发达,会计信息化也在持续地走发展和创新之路,网络信息资源平台的建立使数据与信息资源可以共同分享,平台使用者之间可以相互借鉴学习。
而最为突出的成就便是会计电算化系统的出现,它改变了传统会计手工做账的方式,实现了记账、算账和报账的自动化模式,
提高了会计数据处理的正确性和规范性,为信息化管理打下基础,推进了会计技术的创新和进一步发展。
但是“信息孤岛”的出现证明了会计电算化并没有给会计信息化的发展带来实质性的变化。
数据挖掘的算法及技术的应用的研究论文
摘要: 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中发现隐含的、规律性的、人们事先未知的, 但又是潜在有用的并且最终可被理解的信息和知识的非平凡过程。任何有数据管理和知识发现需求的地方都可以借助数据挖掘技术来解决问题。本文对数据挖掘的算法以及数据挖掘技术的应用展开研究, 论文对数据挖掘技术的应用做了有益的研究。
关键词: 数据挖掘; 技术; 应用;
引言: 数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。起初各种商业数据是存储在计算机的数据库中的, 然后发展到可对数据库进行查询和访问, 进而发展到对数据库的即时遍历。数据挖掘使数据库技术进入了一个更高级的阶段, 它不仅能对过去的数据进行查询和遍历, 并且能够找出过去数据之间的潜在联系, 从而促进信息的传递。
一、数据挖掘概述
数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中发现隐含的、规律性的、人们事先未知的, 但又是潜在有用的并且最终可被理解的信息和知识的非平凡过程。
二、数据挖掘的基本过程
(1) 数据选择:选择与目标相关的数据进行数据挖掘。根据不同的数据挖掘目标, 对数据进行处理, 不仅可以排除不必要的数据干扰, 还可以极大地提高数据挖掘的效率。 (2) 数据预处理:主要进行数据清理、数据集成和变换、数据归约、离散化和概念分层生成。 (3) 模式发现:从数据中发现用户感兴趣的模式的过程.是知识发现的主要的处理过程。 (4) 模式评估:通过某种度量得出真正代表知识的模式。一般来说企业进行数据挖掘主要遵循以下流程——准备数据, 即收集数据并进行积累, 此时企业就需要知道其所需要的是什么样的数据, 并通过分类、编辑、清洗、预处理得到客观明确的目标数据。数据挖掘这是最为关键的步骤, 主要是针对预处理后的数据进行进一步的挖掘, 取得更加客观准确的数据, 方能引入决策之中, 不同的企业可能采取的数据挖掘技术不同, 但在当前来看暂时脱离不了上述的挖掘方法。当然随着技术的进步, 大数据必定会进一步成为企业的立身之本, 在当前已经在很多领域得以应用。如市场营销, 这是数据挖掘应用最早的领域, 旨在挖掘用户消费习惯, 分析用户消费特征进而进行精准营销。就以令人深恶痛绝的弹窗广告来说, 当消费者有网购习惯并在网络上搜索喜爱的产品, 当再一次进行搜索时, 就会弹出很多针对消费者消费习惯的商品。
三、数据挖掘方法
1、聚集发现。
聚集是把整个数据库分成不同的群组。它的目的是要群与群之间差别很明显.而同一个群之间的数据尽量相似.聚集在电子商务上的典型应用是帮助市场分析人员从客户基本库中发现不同的客户群, 并且用购买模式来刻画不同客户群的特征。此外聚类分析可以作为其它算法 (如特征和分类等) 的预处理步骤, 这些算法再在生成的簇上进行处理。与分类不同, 在开始聚集之前你不知道要把数据分成几组, 也不知道怎么分 (依照哪几个变量) .因此在聚集之后要有一个对业务很熟悉的人来解释这样分群的意义。很多情况下一次聚集你得到的分群对你的业务来说可能并不好, 这时你需要删除或增加变量以影响分群的方式, 经过几次反复之后才能最终得到一个理想的结果.聚类方法主要有两类, 包括统计方法和神经网络方法.自组织神经网络方法和K-均值是比较常用的`聚集算法。
2、决策树。
这在解决归类与预测上能力极强, 通过一系列的问题组成法则并表达出来, 然后经过不断询问问题导出所需的结果。典型的决策树顶端是一个树根, 底部拥有许多树叶, 记录分解成不同的子集, 每个子集可能包含一个简单法则。
四、数据挖掘的应用领域
4.1市场营销
市场销售数据采掘在销售业上的应用可分为两类:数据库销售和篮子数据分析。前者的任务是通过交互式查询、数据分割和模型预测等方法来选择潜在的顾客以便向它们推销产品, 而不是像以前那样盲目地选择顾客推销;后者的任务是分析市场销售数据以识别顾客的购买行为模式, 从而帮助确定商店货架的布局排放以促销某些商品。
4.2金融投资
典型的金融分析领域有投资评估和股票交易市场预测, 分析方法一般采用模型预测法。这方面的系统有Fidelity Stock Selector, LBS Capital Management。前者的任务是使用神经网络模型选择投资, 后者则使用了专家系统、神经网络和基因算法技术辅助管理多达6亿美元的有价证券。
结论:数据挖掘是一种新兴的智能信息处理技术。随着相关信息技术的迅猛发展, 数据挖掘的应用领域不断地拓宽和深入, 特别是在电信、军事、生物工程和商业智能等方面的应用将成为新的研究热点。同时, 数据挖掘应用也面临着许多技术上的挑战, 如何对复杂类型的数据进行挖掘, 数据挖掘与数据库、数据仓库和Web技术等技术的集成问题, 以及数据挖掘的可视化和数据质量等问题都有待于进一步研究和探索。
参考文献
[1]孟强, 李海晨.Web数据挖掘技术及应用研究[J].电脑与信息技术, 2017, 25 (1) :59-62.
[2]高海峰.智能交通系统中数据挖掘技术的应用研究[J].数字技术与应用, 2016 (5) :108-108.
聚类分析在企业网络营销中的应用论文
论文摘要:本文针对企业网络营销中的大量数据为基础进行数据的分析,依据数据挖掘技术中典型的聚类分析方法进行数据的处理,并以一个网络营销公司为例,对其客户信息进行了聚类分析,得到了一些有价值的信息,对于企业的营销策略的决策给与一定的支持。
论文关键词:聚类分系,网络营销,策略,客户关系
0前言
现代科学技术的迅猛发展,特别是在互联网的应用和开发上更加的迅速,企业必须通过网络对自己的产品加强宣传以增强自己的竞争力。客户是一个非常重要的、有价值的重要资源,现在如何更好地从数据库中挖掘出客户中有价值的信息,更好的培植和经营与有价值客户的关系,抛弃那些无利可图没有发展前景而且营销费用高的客户,并且可以针对不同价值的客户给与不同的政策同时制定出个性化的营销策略,这些才能够保证企业的生存发展。对于这一切数据挖掘无疑是行之有效的好方法之一。本文以一个网络营销公司为例,提出了一套可操作性的对客户价值评价方法,然后使用数据挖掘技术中比较常见和常用的聚类分析算法对客户信息进行聚类从而达到非常重要的信息并为企业在网络营销中提供决策依据。
1聚类分析
聚类(clustering)是对于数据挖掘技术是非常重要的一部分,现在也是数据挖掘技术中关键的一种。聚类的意义就是针对物理或逻辑上的数据对象的进行自动分类,最后将数据对象分为多个类或簇的过程。对于聚类结果要使得数据对象在同一个分类中具有最大的相似度,而在不同的类中具有最小相似度。聚类的现实意义就是在于可以将数据按照一定得关系进行自动的分类,事先不知道所有的数据对象共有多少类,通过算法的处理最后得到一个分类结果进行应用。譬如在市场研究领域中,特别是针对网络营销的企业或网站,从大量的网络数据进行分析聚类,可以讲客户分成不同的类别,针对这些类别不同的购买力和兴趣爱好来进行个性化的营销手段,提高企业的经济效益。目前研究人员大多针对于聚类分析算法的改进和完善进行研究,进而提高聚类分析的工作效率。著名的算法有:CLARANS,BRICH,DBSCAN,CURE,STING,CLIGUE和WaveCluster等。
2聚类分析应用于企业客户资源管理
现针对某电子商务公司进行分析,该电子商务公司的客户分布在全国各地以及国外一些地区,现仅列出具有代表性的10个大客户:吉林,黑龙江,山东,江苏,浙江,安徽,湖南,缅甸,印度,南非等。在数据挖掘的目的就是从客户中找到一些共同点,在对这些客户数据进行处理前要使用聚类分析的方法进行研究看看这10个客户能否有一些共同之处以便企业针对不同类型的客户给与不同的对策,首先对该公司采用专家打分的方法,而且还有通过网上问卷调查和访谈的方式,收集各地销售专员的意见等方式,然后对数据加以综合,最后聚类分析法确定各项指标的权重。
那么在具体实施聚类分析法的时候可分为5个步骤进行:
第1步:首先对各项指数构建层次结构,其中被评定的10个大客户作为方案层,客户价值放在目标层中进行处理,各项指标是准则层,按照这样的分层结构来构造客户关系评价系统中个指数的结构图,见图2-1所示;
从数据可以看出有两种情形:一是缅甸和南非,从数据中可看出这类客户的当前价值很小,但是具有很大的隐含价值,势必会有一天他们的成长给企业会带来丰厚的物质利益,这样具有发展潜能的客户应该采取措施激发潜能;二是安徽和印度这类客户,虽然从数据中看出这类客户当前价值很小,但是就这两个省份的地理位置和经济状况来分析他们隐含着较大的价值。对于这一类的客户,企业就应该采取灵活的措施,激发他们的购买能力促使该类型的客户不断地向前发展;
第2类是“维持型”客户,他们会源源不断的为企业提供利润,如黑龙江和江苏,他们这类客户根据以往的交易记录分析到得结果就是目前价值大,不过没什么发展的潜能,或者说在某种情况下它的时常还会萎缩,当前这类客户会给企业带肋比较丰厚的利润但是就长期发展而言却不是利润的主要来源,他们在某种情况下会流失掉,会被其他的企业竞争对手的介入而流失,为此对于企业一方面要维持与这类客户的良好关系,保持稳定的`客户关系,另一方面还要采取一些营销手段来刺激该类客户的消费,提供一些个性化的服务和策略;
第3类“淘汰型”客户,这类用户就如同鸡肋了,对于企业的现在和将来都意义不大,目前的销售份额较小,企业对他们营销的成本还很高,年利润率很低,根据分析这类客户包括浙江、湖南和吉林,他们没有长期的发展的趋势,所以企业采取的策略就是应充分挖掘他们给企业带来的当前价值后逐渐地放弃他们;
第4类是“贵宾型”客户,这类用户是企业的主要经济利润的来源,在某种程度上可以说是企业生存的保证,他对企业是关系到生死存亡的重要客户,从数据中看山东就是该企业的这类贵宾型的客户,他的当前价值和潜在价值都很大,企业必须认真对待,细心呵护与这类客户的关系,以及该客户企业的关键性人物的关系,加强与这类客户的沟通和关系的培养,同时还要提高警惕,防止竞争对手抢走这些贵宾型客户。针对贵宾型客户企业就应该对其进行一对一的营销策略,进行良好的客户需求沟通,尽最大可能满足他们的需求,适当给与一些特殊政策来加强和他们的关系。从不同角度来加强客户对企业的忠诚度、满意度等。企业根据这些重要的信息就可以针对不同的客户采取合适的销售策略。
3小结
总之,企业首先对客户的价值进行全方位、多角度进行评价,再将分析结果量化后进行数据挖掘,通过聚类分析,对客户进行细分,针对不同类型的客户给与个性化的服务。
论文研究方法有以下几种:
1、实证研究法
实证研究法是认识客观现象,向人们提供实在、有用、确定、精确的知识研究方法,其重点是研究现象本身“是什么”的问题。
2、调查法
调查法一般是在自然的过程中进行,通过访问、开调查会、发调查问卷、测验等方式去搜集反映研究现象的材料。
3、案例分析法
案例分析法是指把实际工作中出现的问题作为案例,交给受训学员研究分析,培养学员们的分析能力、判断能力、解决问题及执行业务能力的培训方法。
4、比较分析法
亦称对比分析法、指标对比法。是依据客观事物间的相互联系和发展变化,通过同一数据的不同比较,借以对一定项目作出评价的方法。
5、思维方法
思维方法又称思想方法、认识方法是人们正确进行思维和准确表达思想的重要工具,在科学研究中常用的科学思维方法包括归纳演绎、类比推理、抽象概括、思辩想象、分析综合等。
6、内容分析法
内容分析法是一种对于传播内容进行客观,系统和定量的描述的研究方法。内容分析的过程是层层推理的过程。
7、文献分析法
文献分析法主要指搜集、鉴别、整理文献,并通过对文献的研究,形成对事实科学认识的方法。一般用于收集工作的原始信息,编制任务清单初稿。
通过数据进行分析的论文用数据是数学方法。
数据分析方法:将数据按一定规律用列表方式表达出来,是记录和处理最常用的方法。表格的设计要求对应关系清楚,简单明了,有利于发现相关量之间的相关关系。
此外还要求在标题栏中注明各个量的名称、符号、数量级和单位等:根据需要还可以列出除原始数据以外的计算栏目和统计栏目等。
数据分析目的:
数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中和提炼出来,从而找出所研究对象的内在规律。在实际应用中,数据分析可帮助人们做出判断,以便采取适当行动。数据分析是有组织有目的地收集数据、分析数据,使之成为信息的过程。
这一过程是质量管理体系的支持过程。在产品的整个寿命周期,包括从市场调研到售后服务和最终处置的各个过程都需要适当运用数据分析过程,以提升有效性。
例如设计人员在开始一个新的设计以前,要通过广泛的设计调查,分析所得数据以判定设计方向,因此数据分析在工业设计中具有极其重要的地位。
可以在线阅读
分布式领域论文译序sql&nosql年代记SMAQ:海量数据的存储计算和查询一.google论文系列1. google系列论文译序2. The anatomy of a large-scale hypertextual Web search engine (译 zz)3. web search for a planet :the google cluster architecture(译)4. GFS:google文件系统 (译)5. MapReduce: Simplied Data Processing on Large Clusters (译)6. Bigtable: A Distributed Storage System for Structured Data (译)7. Chubby: The Chubby lock service for loosely-coupled distributed systems (译)8. Sawzall:Interpreting the Data--Parallel Analysis with Sawzall (译 zz)9. Pregel: A System for Large-Scale Graph Processing (译)10. Dremel: Interactive Analysis of WebScale Datasets(译zz)11. Percolator: Large-scale Incremental Processing Using Distributed Transactions and Notifications(译zz)12. MegaStore: Providing Scalable, Highly Available Storage for Interactive Services(译zz)13. Case Study GFS: Evolution on Fast-forward (译)14. Google File System II: Dawn of the Multiplying Master Nodes15. Tenzing - A SQL Implementation on the MapReduce Framework (译)16. F1-The Fault-Tolerant Distributed RDBMS Supporting Google's Ad Business17. Elmo: Building a Globally Distributed, Highly Available Database18. PowerDrill:Processing a Trillion Cells per Mouse Click19. Google-Wide Profiling:A Continuous Profiling Infrastructure for Data Centers20. Spanner: Google’s Globally-Distributed Database(译zz)21. Dapper, a Large-Scale Distributed Systems Tracing Infrastructure(笔记)22. Omega: flexible, scalable schedulers for large compute clusters23. CPI2: CPU performance isolation for shared compute clusters24. Photon: Fault-tolerant and Scalable Joining of Continuous Data Streams(译)25. F1: A Distributed SQL Database That Scales26. MillWheel: Fault-Tolerant Stream Processing at Internet Scale(译)27. B4: Experience with a Globally-Deployed Software Defined WAN28. The Datacenter as a Computer29. Google brain-Building High-level Features Using Large Scale Unsupervised Learning30. Mesa: Geo-Replicated, Near Real-Time, Scalable Data Warehousing(译zz)31. Large-scale cluster management at Google with Borg google系列论文翻译集(合集)二.分布式理论系列00. Appraising Two Decades of Distributed Computing Theory Research 0. 分布式理论系列译序1. A brief history of Consensus_ 2PC and Transaction Commit (译)2. 拜占庭将军问题 (译) --Leslie Lamport3. Impossibility of distributed consensus with one faulty process (译)4. Leases:租约机制 (译)5. Time Clocks and the Ordering of Events in a Distributed System(译) --Leslie Lamport6. 关于Paxos的历史7. The Part Time Parliament (译 zz) --Leslie Lamport 8. How to Build a Highly Available System Using Consensus(译)9. Paxos Made Simple (译) --Leslie Lamport10. Paxos Made Live - An Engineering Perspective(译) 11. 2 Phase Commit(译) 12. Consensus on Transaction Commit(译) --Jim Gray & Leslie Lamport 13. Why Do Computers Stop and What Can Be Done About It?(译) --Jim Gray 14. On Designing and Deploying Internet-Scale Services(译) --James Hamilton 15. Single-Message Communication(译)16. Implementing fault-tolerant services using the state machine approach 17. Problems, Unsolved Problems and Problems in Concurrency 18. Hints for Computer System Design 19. Self-stabilizing systems in spite of distributed control 20. Wait-Free Synchronization 21. White Paper Introduction to IEEE 1588 & Transparent Clocks 22. Unreliable Failure Detectors for Reliable Distributed Systems 23. Life beyond Distributed Transactions:an Apostate’s Opinion(译zz) 24. Distributed Snapshots: Determining Global States of a Distributed System --Leslie Lamport 25. Virtual Time and Global States of Distributed Systems 26. Timestamps in Message-Passing Systems That Preserve the Partial Ordering 27. Fundamentals of Distributed Computing:A Practical Tour of Vector Clock Systems 28. Knowledge and Common Knowledge in a Distributed Environment 29. Understanding Failures in Petascale Computers 30. Why Do Internet services fail, and What Can Be Done About It? 31. End-To-End Arguments in System Design 32. Rethinking the Design of the Internet: The End-to-End Arguments vs. the Brave New World 33. The Design Philosophy of the DARPA Internet Protocols(译zz) 34. Uniform consensus is harder than consensus 35. Paxos made code - Implementing a high throughput Atomic Broadcast 36. RAFT:In Search of an Understandable Consensus Algorithm分布式理论系列论文翻译集(合集)三.数据库理论系列0. A Relational Model of Data for Large Shared Data Banks --E.F.Codd 19701. SEQUEL:A Structured English Query Language 19742. Implentation of a Structured English Query Language 19753. A System R: Relational Approach to Database Management 19764. Granularity of Locks and Degrees of Consistency in a Shared DataBase --Jim Gray 19765. Access Path Selection in a RDBMS 1979 6. The Transaction Concept:Virtues and Limitations --Jim Gray7. 2pc-2阶段提交:Notes on Data Base Operating Systems --Jim Gray8. 3pc-3阶段提交:NONBLOCKING COMMIT PROTOCOLS9. MVCC:Multiversion Concurrency Control-Theory and Algorithms --1983 10. ARIES: A Transaction Recovery Method Supporting Fine-Granularity Locking and Partial Rollbacks Using Write-Ahead Logging-199211. A Comparison of the Byzantine Agreement Problem and the Transaction Commit Problem --Jim Gray 12. A Formal Model of Crash Recovery in a Distributed System - Skeen, D. Stonebraker13. What Goes Around Comes Around - Michael Stonebraker, Joseph M. Hellerstein 14. Anatomy of a Database System -Joseph M. Hellerstein, Michael Stonebraker 15. Architecture of a Database System(译zz) -Joseph M. Hellerstein, Michael Stonebraker, James Hamilton四.大规模存储与计算(NoSql理论系列)0. Towards Robust Distributed Systems:Brewer's 2000 PODC key notes1. CAP理论2. Harvest, Yield, and Scalable Tolerant Systems3. 关于CAP 4. BASE模型:BASE an Acid Alternative5. 最终一致性6. 可扩展性设计模式7. 可伸缩性原则8. NoSql生态系统9. scalability-availability-stability-patterns10. The 5 Minute Rule and the 5 Byte Rule (译) 11. The Five-Minute Rule Ten Years Later and Other Computer Storage Rules of Thumb12. The Five-Minute Rule 20 Years Later(and How Flash Memory Changes the Rules)13. 关于MapReduce的争论14. MapReduce:一个巨大的倒退15. MapReduce:一个巨大的倒退(II)16. MapReduce和并行数据库,朋友还是敌人?(zz)17. MapReduce and Parallel DBMSs-Friends or Foes (译)18. MapReduce:A Flexible Data Processing Tool (译)19. A Comparision of Approaches to Large-Scale Data Analysis (译)20. MapReduce Hold不住?(zz) 21. Beyond MapReduce:图计算概览22. Map-Reduce-Merge: simplified relational data processing on large clusters23. MapReduce Online24. Graph Twiddling in a MapReduce World25. Spark: Cluster Computing with Working Sets26. Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing27. Big Data Lambda Architecture28. The 8 Requirements of Real-Time Stream Processing29. The Log: What every software engineer should know about real-time data's unifying abstraction30. Lessons from Giant-Scale Services五.基本算法和数据结构1. 大数据量,海量数据处理方法总结2. 大数据量,海量数据处理方法总结(续)3. Consistent Hashing And Random Trees4. Merkle Trees5. Scalable Bloom Filters6. Introduction to Distributed Hash Tables7. B-Trees and Relational Database Systems8. The log-structured merge-tree (译)9. lock free data structure10. Data Structures for Spatial Database11. Gossip12. lock free algorithm13. The Graph Traversal Pattern六.基本系统和实践经验1. MySQL索引背后的数据结构及算法原理2. Dynamo: Amazon’s Highly Available Key-value Store (译zz)3. Cassandra - A Decentralized Structured Storage System (译zz)4. PNUTS: Yahoo!’s Hosted Data Serving Platform (译zz)5. Yahoo!的分布式数据平台PNUTS简介及感悟(zz)6. LevelDB:一个快速轻量级的key-value存储库(译)7. LevelDB理论基础8. LevelDB:实现(译)9. LevelDB SSTable格式详解10. LevelDB Bloom Filter实现11. Sawzall原理与应用12. Storm原理与实现13. Designs, Lessons and Advice from Building Large Distributed Systems --Jeff Dean14. Challenges in Building Large-Scale Information Retrieval Systems --Jeff Dean15. Experiences with MapReduce, an Abstraction for Large-Scale Computation --Jeff Dean16. Taming Service Variability,Building Worldwide Systems,and Scaling Deep Learning --Jeff Dean17. Large-Scale Data and Computation:Challenges and Opportunitis --Jeff Dean18. Achieving Rapid Response Times in Large Online Services --Jeff Dean19. The Tail at Scale(译) --Jeff Dean & Luiz André Barroso 20. How To Design A Good API and Why it Matters21. Event-Based Systems:Architect's Dream or Developer's Nightmare?22. Autopilot: Automatic Data Center Management七.其他辅助系统1. The ganglia distributed monitoring system:design, implementation, and experience2. Chukwa: A large-scale monitoring system3. Scribe : a way to aggregate data and why not, to directly fill the HDFS?4. Benchmarking Cloud Serving Systems with YCSB5. Dynamo Dremel ZooKeeper Hive 简述八. Hadoop相关0. Hadoop Reading List1. The Hadoop Distributed File System(译)2. HDFS scalability:the limits to growth(译)3. Name-node memory size estimates and optimization proposal.4. HBase Architecture(译)5. HFile:A Block-Indexed File Format to Store Sorted Key-Value Pairs6. HFile V27. Hive - A Warehousing Solution Over a Map-Reduce Framework8. Hive – A Petabyte Scale Data Warehouse Using Hadoop转载请注明作者:phylips@bmy 2011-4-30
作者 石默研
在云计算基础设施IaaS服务中,“存”与“算”的分界是清晰的,客户会分别为“存”与“算”按需消费。不只是专门的存储服务如S3、对象存储、文件存储、NAS等,即使是在最基本的虚拟机服务ECS上,“存”也需要由消费者进行选择,而选择的对象是云盘,即位置对用户透明,不需要消费者关心是否在计算节点的本地:其实连计算节点本身位于何处也是无需关心,又何谈本地。随着云计算服务的持续发展,“存”与“算”的界限,无论是从消费模式上,还是从技术上,都呈现出越来越清晰的趋势。
而在PaaS层的数据库服务中,则出现两种情况。一种是“存”与“算”也由消费者分别选择并扩缩,而另一种则是购买服务时,“存”与“算”是固定捆绑的架构组合,可以定义大小,但无法相对独立地选择、部署与扩缩。
引发上述数据库服务不同消费模式的因素,实质上是在云中部署的数据库产品本身不同的技术架构,即“存”“算”分离,或“存”“算”一体。由于对单体数据库谈“存”与“算”的分离与一体,并没有多大意义,因此,主要是针对分布式数据库而言,其不同的特性带来了业界较为广泛的讨论。
那么,首先分析一下,在“存”“算”基础设施愈来愈独立清晰的趋势下,建立在其上的数据库服务“存”“算”一体现象从何来呢?不难发现,云平台上这样的数据库服务,大多都是基于“从非云环境中、应企业级On Premise需求产生与发展而来”的数据库产品。也就是说,其产品本初的设计理念就与“云”无关,只是后来为了寻求不同的商业模式而部署在云上而已;而大多数“存”“算”分离的数据库产品,其创始之初,就面向云环境进行设计。这里,顺便澄清一下现在极为流行的云原生概念,相当多的人混淆了云适配部署与云原生的概念,认为只要部署在云上,就是云原生了。其实云原生的概念与其字面意思极为直白契合,就是指在“云环境”中“原生”的,而不是从别的地方迁来的,即 “云原生”就是生长于云上的,而非云原生则是迁移到云上的 。这与要深入理解目前同样火热的NFT,就必须先正确理解“区块链原生”概念的道理是一样的。
相信现在,关于“云”的问题应该是比较清晰了:“存”“算”分离是云原生的架构,而“存”“算”一体则不是,这一点相信读者不会有太多的疑问。那么,接下来的问题是:“云原生”就一定好吗?面向企业级的需求,“存”“算”分离与“存”“算”一体孰优孰劣?
世界上本来就没有绝对的好与绝对的坏,“存”“算”一体架构的设计,也是在满足企业需求的过程中自然产生的,对分布式数据库而言,“存”“算”一体的设计,无论是对传统单体数据库的替代上,还是对采用业务单元化策略的局部性满足上,还是对基于已有成熟数据库体系以二次开发构建分库分表数据库产品的方便性上,都产生了积极的 历史 作用。在那种情况下,不去考虑“云”的趋势与设计需求,也是合理的。
然而,过去几十年的 历史 已经证明,计算机技术的发展是极为迅速的,无论是软件还是硬件,当然包括数据库技术同样如此。
首先,往远处看的话:从计算机科学发展的角度,在云计算大趋势的驱动下,“计算”与“存储”技术相对独立的发展道路已经越来越明显,越来越清晰。可以想见,未来“计算”力相关的技术、架构与产品必将会发展到比如今所有极为先进的状态;未来“存储”相关技术、架构与产品也必将会进展到一个无法完全预计的崭新阶段,同时越来越“智能”。并且从目前的形势看,这个未来并不会太久远,“存”“算”分离无疑是适合那个未来的各种可能的,因为它本身就是为此而原生的,“存”“算”一体在未来或许将变得无从谈起;而从国际上先进数据库技术发展的实际情况来看,绝大多数崭新的、最前沿的数据库相关技术与产品,都是云原生的,换句话说,都是采用“存”“算”分离的架构,这一点,几乎少有例外。
(或许可以猜测,把磁盘挂在本地这种现存商业计算机的架构,也是由企业/个体对计算机使用的商业模式驱动的,而不一定是技术驱动的必然结果)
其次,往近处看:对企业级现阶段数字化转型中,传统单体数据库替换的紧迫需求而言,大量的事实已经证明,云原生架构的数据库完全可以满足各种实际的业务转型需求:
例子还有很多.......
最后还有一点需要强调:对于那些 将“云”策略当成技术与业务核心发展战略 的企业来讲, 云原生架构 无论是面向现在与未来,自然是 最为适合 的;
或许可以这样说,“存”“算”一体的架构是现代分布式数据库技术进化过程中的一个重要过渡阶段,其 历史 作用不可否认,毋庸质疑;而不久的将来,分布式数据库架构向云原生快速发展普及的趋势将会越来越明显,步伐将会越来越加快......
世界潮流,浩浩荡荡;顺之者昌,逆之者亡,顺应 历史 的潮流与趋势的选择一般都是明智的。