数据预处理的研究论文

【摘要】 本文在对物流产业进行界定的基础上，通过整理、分解和综合河南省2007年投入产出表，建立了针对物流产业的投入产出表，并据此进一步对河南省物流产业的最初投入结构和最终使用结构进行了分析，明确物流产业在河南省国民经济中的地位和作用，揭示了现阶段河南省物流产业的一些经济特征，对相关部门正确及时做出调整措施和发展政策有一定的参考价值。 更多 【关键词】 投入产出 物流产业 最初投入结构 最终使用结构 一、引言 现代物流产业几乎涉及国民经济的各个方面，是一个跨行业、跨部门、跨地区的综合产业，它是对原来分散于不同经济领域和环节的相对独立的物流功能的重新整合。同时，现代物流业是现代服务业的重要组成部分，许多国家和地区将其视为支柱产业。因此，一个国家或地区物流产业的发展状况在一定程度上会影响其整个经济社会系统的发展。基于这样的重要性，本文在收集相关资料界定物流产业范畴的基础上，建立专门针对物流产业的河南省物流产业投入产出表，并进一步分析河南省现代物流产业的现状及特征。 二、河南省物流产业投入产出表的建立 1、物流产业的界定 按照我国对三次产业的划分标准，我们将农业、林业、畜牧业、渔业和农林牧渔服务业划分为第一产业；将煤炭开采和洗选业、石油和天然气开采业、黑色金属矿采选业、房屋和土木工程建筑业、其他建筑业等93个行业划分为第二产业；将铁路货运业、道路货运业、水上货运业、航空货运业、管道运输业、装卸搬运和其他运输服务业、仓储业、邮政业划分为物流产业作为本文研究的研究对象；物流产业属于第三产业的一个子产业，因此在第三产业中除物流产业之外的其他产业我们称之为其他第三产业。物流产业的界定是建立物流产业投入产出表的基础，经过这样归类之后我们可以通过对各产业数据进行拆分和加总，以便能得出物流产业的投入产出表。 2、数据的预处理 在河南省的各类统计资料中，由于没有对铁路运输业、水上运输业、道路运输业和航空运输业的产值按照货运和客运分别统计，而物流产业的范畴决定了我们进行研究所建立的模型以及所采用的数据都需要是货运的价值量，因此需要对上述产业的总产值进行分离。对总产值的分离是数据预处理的第一步。 考虑到产值的大小是与客货运平均价格和周转量有关，本文将根据这两方面的统计资料来进行产值分离。通过查阅中国物价年鉴、河南省统计年鉴等相关资料，可以得出在物价基本稳定的基础上，客货周转量和产值之间是正向相关关系，二者之间存在正比关系，因此我们将近20年河南省投入产出表中所反映的客货运产值作为依据，来对2007年铁路运输业、水上运输业、道路运输业和航空运输业进行产值分离。分离之后可以得到2007年河南省铁路货运业的总产值为万元，道路货运业产值为万元，水上货运业产值为万元，航空货运业产值为万元。 产值分离之后需要进行数据预处理的第二步，即对投入产出表中铁路运输业、水上运输业、道路运输业和航空运输业的行数据和列数据进行分离。由于投入产出数据分离涉及的产业部门和经济数据众多，在现有统计资料可得性的约束下，无法明确每一个产业部门需求对客货运的消耗关系。基于此，本文假设在短期内各产业部门需求对铁路运输业、水上运输业、道路运输业和航空运输业客货运消耗是相对稳定的，在对铁路运输业、水上运输业、道路运输业、航空运输业进行行数据和列数据分离时按产值分离的比例划分。这样铁路运输业、水上运输业、道路运输业和航空运输业四个产业部门可以分离成铁路客运业、水上客运业、道路客运业、航空客运业、铁路货运业、水上货运业、道路货运业、航空货运业八个产业部门，同时可以得到物流产业的相关投入产出数据，包括铁路货运业、道路货运业、水上货运业、航空货运业、管道运输业、装卸搬运和其他运输服务业、仓储业、邮政业。 3、投入产出表的建立 在对投入产出表数据进行过预处理之后，需要对经过数据分离之后的河南省2007年投入产出表按特定的产业分类方式进行归总。按照我国对三次产业的划分以及物流产业的范畴，我们可以得到分类后各产业的投入产出数据，见表1和表2。 三、物流业的最初投入结构和最终使用结构分析 1、最初投入结构分析 一个产业部门的最初投入结构是指该产业部门各项最初投入的结构关系，反映了该产业各项最初投入占该产业最初投入总量的比重。其中最初投入包括固定资产折旧、劳动者报酬、生产税净额、营业余额等，而最初投入也就是该部门的增加值，所以最初投入结构实质上反映了某一产业增加值的构成情况。根据河南省2007年投入产出表，可以计算出物流产业的最初投入结构系数。图1显示了河南省物流产业的最初投入结构，图2显示了河南省物流产业中各细分产业的最初投入结构，通过对比我们可以得出以下结论。 第一，从营业盈余来看。物流产业的营业盈余占增加值的，高于农业和其他第三产业，而低于工业；在物流产业细分的各子产业中铁路货运业、道路货运业和管道运输业的营业盈余占增加值的比重也相对较大。这说明物流产业的投入，尤其是铁路货运业、道路货运业和管道运输业的投入都比较低，包括固定资产的折旧率、劳动者的报酬等等，这点可以通过河南省人口密度大、劳动力资源密集且廉价来解释；同时由于河南省整体经济发展水平不高，市场化程度和市场规范性的影响导致这些产业交纳的利税又相对较少，因此营业盈余在增加值中所占的比例相对较高。 第二，从固定资产折旧来看。与其他产业相比，物流产业固定资产折旧占其增加值的比重最大，为。这主要是由于物流产业的发展需要大量固定资产的投资，如公路、铁路等交通基础设施的建设，同时还要包括汽车、船舶、飞机等运输工具和设备的制造，这些都需要大量的投资。在物流产业细分的各子产业中，我们发现管道运输的固定资产折旧比例最高，达到，是资金最密集的行业。 第三，从生产税净额来看。物流产业的生产税净额比例为，高于其他产业。这说明相对于河南省其他产业来说物流产业的发展状况还是不错的，但是由于河南省经济发展水平普遍偏低，所以放在全国范围内来看，河南省的物流产业发展状况还需要进一步研究。从物流产业细分的子产业来看，铁路货运业、管道运输业和仓储业的生产税净额比例都很低（低于10%），这说明这些部门的市场化程度较弱，盈利水平和技术水平都相对较低。 第四，从劳动报酬来看。物流产业的劳动者报酬占其增加值的，高于工业，但远低于农业和其他第三产业。通过对比我们可以发现物流产业具有劳动密集型的特征，物流产业整体的工资水平等相对较低，这与河南省劳动力资源密集也有相当大的关系。从物流产业细分的子产业来看，水上货运业、航空货运业、装卸搬运及其他运输业、仓储业的劳动报酬占增加值的比重都比较高（大于50%），说明这些行业具备更加明显的劳动密集型特征。 2、最终使用结构分析 经过初次分配和再分配后，国民经济各产业的产出会被分解为各种最终使用，包括消费、投资、出口等。我们可以通过投入产出表计算其最终使用结构系数，以帮助我们更加清楚地把握物流产业最终使用项目的比例关系。 根据河南省2007年投入产出表，可以得出物流产业的最终使用结构系数。图3反映了河南省物流产业的最终使用结构，图4反映了河南省物流产业各细分产业的最终使用结构。通过对比我们发现河南省物流产业的最终使用中，销往省外和最终消费占了绝大部分比例，分别为和，而用于出口和资本形成的比例很小。这说明河南省物流产业还处于服务国内市场的阶段，物流产业的增加值绝大部分被国内消耗掉，当然有相当大的一部分贡献到省外市场，但是河南省物流产业还没有形成全球化服务的规模，要想转变为外向型服务业还需要更加努力。从物流产业细分的子产业来看，铁路货运业和仓储业销往省外的比重最大，而其他各子产业都是最终消费占了较大比例。 【参考文献】 [1] 王岳平：产业结构对交通运输业发展影响的定量分析[J].管理世界，2004（6）. [2] Miller，Ronald E.，Karen R. polenske and Adam ，eds：Frontlers of input-output Allalysis[M].Oxford University Press，1989. [3] 黄福华、谷汉文：中国物流产业发展的经济学分析[J].财贸经济，2005（2）. [4] 阮君、郑珍远：福建省现代物流产业发展的投入产出分析[J].统计与信息论坛，2006（5）. [5] 楚岩枫、刘思峰：我国物流产业发展的投入产出研究[J].企业经济，2007（12）. [6] 冯云：物流业与中国经济发展关系的实证分析[J].统计与决策，2008（5）. [7] 梁小民：经济学大辞典[M].团结出版社，1994. [8] 周新生：产业分析与产业策划：方法及应用[M].经济管理出版社，2005. [9] 芮明杰：产业经济学[M].上海财经大学出版社，1996. [10] 魏明侠、王琳、李源：现代物流产业发展的产业关联与波及效果研究[J].商业经济与管理，2009（12）. [11] 张彩凤：基于投入产出的辽宁省物流业对本省经济影响研究[D].大连海事大学，2008.

数据挖掘的算法及技术的应用的研究论文

摘要： 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中发现隐含的、规律性的、人们事先未知的, 但又是潜在有用的并且最终可被理解的信息和知识的非平凡过程。任何有数据管理和知识发现需求的地方都可以借助数据挖掘技术来解决问题。本文对数据挖掘的算法以及数据挖掘技术的应用展开研究, 论文对数据挖掘技术的应用做了有益的研究。

关键词： 数据挖掘; 技术; 应用;

引言: 数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。起初各种商业数据是存储在计算机的数据库中的, 然后发展到可对数据库进行查询和访问, 进而发展到对数据库的即时遍历。数据挖掘使数据库技术进入了一个更高级的阶段, 它不仅能对过去的数据进行查询和遍历, 并且能够找出过去数据之间的潜在联系, 从而促进信息的传递。

一、数据挖掘概述

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中发现隐含的、规律性的、人们事先未知的, 但又是潜在有用的并且最终可被理解的信息和知识的非平凡过程。

二、数据挖掘的基本过程

(1) 数据选择:选择与目标相关的数据进行数据挖掘。根据不同的数据挖掘目标, 对数据进行处理, 不仅可以排除不必要的数据干扰, 还可以极大地提高数据挖掘的效率。 (2) 数据预处理:主要进行数据清理、数据集成和变换、数据归约、离散化和概念分层生成。 (3) 模式发现:从数据中发现用户感兴趣的模式的过程.是知识发现的主要的处理过程。 (4) 模式评估:通过某种度量得出真正代表知识的模式。一般来说企业进行数据挖掘主要遵循以下流程——准备数据, 即收集数据并进行积累, 此时企业就需要知道其所需要的是什么样的数据, 并通过分类、编辑、清洗、预处理得到客观明确的目标数据。数据挖掘这是最为关键的步骤, 主要是针对预处理后的数据进行进一步的挖掘, 取得更加客观准确的数据, 方能引入决策之中, 不同的企业可能采取的数据挖掘技术不同, 但在当前来看暂时脱离不了上述的挖掘方法。当然随着技术的进步, 大数据必定会进一步成为企业的立身之本, 在当前已经在很多领域得以应用。如市场营销, 这是数据挖掘应用最早的领域, 旨在挖掘用户消费习惯, 分析用户消费特征进而进行精准营销。就以令人深恶痛绝的弹窗广告来说, 当消费者有网购习惯并在网络上搜索喜爱的产品, 当再一次进行搜索时, 就会弹出很多针对消费者消费习惯的商品。

三、数据挖掘方法

1、聚集发现。

聚集是把整个数据库分成不同的群组。它的目的是要群与群之间差别很明显.而同一个群之间的数据尽量相似.聚集在电子商务上的典型应用是帮助市场分析人员从客户基本库中发现不同的客户群, 并且用购买模式来刻画不同客户群的特征。此外聚类分析可以作为其它算法 (如特征和分类等) 的预处理步骤, 这些算法再在生成的簇上进行处理。与分类不同, 在开始聚集之前你不知道要把数据分成几组, 也不知道怎么分 (依照哪几个变量) .因此在聚集之后要有一个对业务很熟悉的人来解释这样分群的意义。很多情况下一次聚集你得到的分群对你的业务来说可能并不好, 这时你需要删除或增加变量以影响分群的方式, 经过几次反复之后才能最终得到一个理想的结果.聚类方法主要有两类, 包括统计方法和神经网络方法.自组织神经网络方法和K-均值是比较常用的`聚集算法。

2、决策树。

这在解决归类与预测上能力极强, 通过一系列的问题组成法则并表达出来, 然后经过不断询问问题导出所需的结果。典型的决策树顶端是一个树根, 底部拥有许多树叶, 记录分解成不同的子集, 每个子集可能包含一个简单法则。

四、数据挖掘的应用领域

市场营销

市场销售数据采掘在销售业上的应用可分为两类:数据库销售和篮子数据分析。前者的任务是通过交互式查询、数据分割和模型预测等方法来选择潜在的顾客以便向它们推销产品, 而不是像以前那样盲目地选择顾客推销;后者的任务是分析市场销售数据以识别顾客的购买行为模式, 从而帮助确定商店货架的布局排放以促销某些商品。

金融投资

典型的金融分析领域有投资评估和股票交易市场预测, 分析方法一般采用模型预测法。这方面的系统有Fidelity Stock Selector, LBS Capital Management。前者的任务是使用神经网络模型选择投资, 后者则使用了专家系统、神经网络和基因算法技术辅助管理多达6亿美元的有价证券。

结论:数据挖掘是一种新兴的智能信息处理技术。随着相关信息技术的迅猛发展, 数据挖掘的应用领域不断地拓宽和深入, 特别是在电信、军事、生物工程和商业智能等方面的应用将成为新的研究热点。同时, 数据挖掘应用也面临着许多技术上的挑战, 如何对复杂类型的数据进行挖掘, 数据挖掘与数据库、数据仓库和Web技术等技术的集成问题, 以及数据挖掘的可视化和数据质量等问题都有待于进一步研究和探索。

参考文献

[1]孟强, 李海晨.Web数据挖掘技术及应用研究[J].电脑与信息技术, 2017, 25 (1) :59-62.

[2]高海峰.智能交通系统中数据挖掘技术的应用研究[J].数字技术与应用, 2016 (5) :108-108.

和指导老师搞好关系，也要有真本事