数据处理分析系统毕业论文

查找有关数据着气象数据采集技术的发展以及各气象中心算法的完善,数值天气预报的准确率一直在稳步的提升。然而,面对当今社会对高精度天气预报的需求,来自各个气象中心的模式天气预报并不能够满足人们的要求。因此各个地区的气象部门需要根据自身情况,通过参考上级指导预报对本地区的未来天气现象重新进行预报以提高预报准确率。然而地区级气象部门却受限于本身设备条件,很难获得针对当地的具有指导意义的气象数据。基于上述原因,本文通过对浙江省气象台实际预报工作的调研,结合国家局下发的质量检验要求,为解决气象预报过程中遇到的实际问题,设计并实现了“浙江省天气预报数据分析系统”。并通过分析该系统的结果数据,设计并实现了基于神经网络方法的天气预测模块。该模块会将天气预测结果作为新的预报模式加入到数据分析系统中,为气象预报工作提供更多的数据支持。论文的主要工作内容如下:1、根据浙江省气象台气象预报工作的数据需求,通过对现有的气象数据结构的分析,设计并实现了一套在大时间跨度下,具有极高查询效率的气象数据仓库。通过该数据仓库的实现,将年度数据统计时间由原来的数百秒级降低到秒级。2、设计并实现了气象数据分析系统。利用C#、HTML、JavaScript与T-SQL语音开发了具备数据挖掘能力、质量检验能力、辅助预报能力,且数据表现形式丰富而直观的,数据分析系统。通过该系统的应用,可以有效的改善气象预报人员的预报准确率。3、提出以神经网络法构建预测天气数值参考数据的数据挖掘模型。该模型以BP神经网络方法构建,通过对历史数据的不断学习从而对各个参考预报模式的误差进行预测,然后根据预测结果给出新的参考数据,作为一种新的模式供预报人员参考。该参考数据相比较其他模式的数据在预报准确性与稳定性上都有较大的提升。通过气象数值预报分析系统在该浙江省气象台的应用实践证明,本文设计和实现的气象数值预报数据分析系统能很好地满足数值预报团队关于预报误差控制的需求。不仅根据数据学习模型计算得到的预报参考数据有较好的准确性。而且提供的质量检验功能,也为数值预报团队的预报工作提供了强有力的数据支持。

伴随着信息化技术飞速发展的同时，作为重要业务的支撑基础，IT基础设施规模亦日益强大.我整理了it热门技术论文，有兴趣的亲可以来阅读一下!

IT设备数据处理技术

摘 要：伴随着信息化技术飞速发展的同时，作为重要业务的支撑基础，IT基础设施规模亦日益强大与复杂，这给信息系统的安全、故障定位、信息监控带来了新的挑战，增加了运维管理的难度。本论文对IT设备数据处理技术介绍以及IT服务设备数据处理设计和系统的测试与分析做了描述并进行了总结与展望。

关键词：运维;监控;数据处理

中图分类号：TP315

1 绪论

课题的来源及研究背景

伴随着信息化技术飞速发展的同时，作为重要业务的支撑基础，IT基础设施规模亦日益强大与复杂，这给信息系统的安全、故障定位、信息监控带来了新的挑战，增加了运维管理的难度。经过近几年的IT管理发展，目前市场上已初步具备对主机、网络设备、数据库和业务系统进行监视管理的能力。但由于监控工具众多而分散，缺乏统一的监控数据展示及集中管理平台，导致目前的监控手段并没有很好地在运维流程中发挥更大的作用。同时对于不同的IT服务设备产生的告警和性能信息的处理也进一步出现在运维管理工作的议程上，IT服务设备数据的复杂性和多样性为企业IT运维管理工作的提出了新的难题，鉴于此，策划并启动了本研究课题，提高对IT服务设备数据处理能力的突破，以切实有效地提高IT管理及业务服务能力，确保信息系统的安全稳定运行，最终得以有力支撑企业管理模式改革和创先需求。

国内外研究现状

目前，在国内外，根据各企业的IT服务设备数据特点和技术难点，各个行业都已经开始着手于IT服务设备数据处理技术的研究，以解决IT服务设备故障定位问题。但是，较为成熟的IT服务设备数据处理模型还没有完全定型。

课题研究意义和研究内容

通过对课题的研究背景的研究，IT服务设备数据主要包含这些设备的性能数据和告警数据，将这些复杂的告警数据通过数据处理规则和模型进行规范化处理，对设备问题的定位能起到快速、准确的目的。为信息系统的安全运行，运维管理水平的提高，起到决定性的作用。本文正是以这样的目的为初衷，研究将IT服务设备数据处理技术与系统建设结合起来，通过分析IT服务设备数据的特点，提出将复杂的IT服务设备数据处理技术应用到企业业务系统中，对企业的运维管理进行辅助处理，提高企业IT设备故障处理的效率，以及降低企业运维管理的难度。

本文分析了某公司IT设备数据处理技术的模型和规则，阐述了IT服务设备数据在企业运维管理中问题定位能力所起到的作用，同时阐述了数据在系统中的效果。通过对IT服务设备数据的分析处理，能够及时获取最准确的故障定位信息。

论文组织结构

本论文围绕IT服务设备数据处理技术进行研究分析，目的在于对复杂的IT服务设备性能和告警数据进行处理分析，以提高IT设备故障定位的能力，起到提高整个IT运维服务水平的作用。论文一共分为五章，各章节的内容安排大致如下：

第一章：对课题的背景和国内外研究现状进行调研分析，结合相应的环境背景提出课题并分析课题研究的意义，在第一章中，我们还对论文的整个架构进行一个简单的介绍。

第二章：在第二章中，主要是对IT服务设备数据处理技术相关的一些概念的进行简单的介绍说明。

第三章：详细介绍IT服务设备数据处理设计架构，模块设计，业务处理规则设计思路等内容。

第四章：对系统进行测试和性能分析，并对测试结果进行了分析和总结。

第五章：对整篇论文和实验进行总结，提出论文中存在的不足，提出课题研究中还存在的问题等。

本章小结

本章中主要是对本文要进行研究的课题IT服务设备数据处理技术进行一些预先的调研工作，比如对课题的来源，课题研究背景，国内外对复杂事件处理技术的研究状况等。

2 IT设备数据处理技术介绍

IT服务设备

本论文中提到的IT服务设备数据主要是指：

(1)主机设备，包含小型机、PC服务器、VM、LPAR等;

(2)软件实例，包含操作系统类、数据库类、中间件类、用软件类等;

(3)网络安全设备，包含交换机设备、路由器设备、漏洞扫描设备、审计设备、入侵检测设备、、防火墙设备、负载均衡等;

(4)存储设备，包含磁盘阵列、带库、光纤交换机等;

(5)环境设备，包含UPS、空调、机柜、配电柜等;

(6)业务服务类，包含基础的业务系统等。

IT服务设备数据

本论文中提到的IT服务设备数据主要是章节中所提到的设备在运行状态中的性能数据和告警数据，这些数据是通过不同的监控工具获取，各自独立的存在，数据之间没有进行有效关联，对IT服务设备的故障排查、问题定位。

IT服务设备数据处理所涉及技术

列表法

列表法是记录和处理实验数据的基本方法，也是其它实验数据处理方法的基础。将实验数据列成适当的表格，可以清楚地反映出有关物理量之间的一一对应关系，既有助于及时发现和检查实验中存在的问题，判断测量结果的合理性;又有助于分析实验结果，找出有关物理量之间存在的规律性。一个好的数据表可以提高数据处理的效率，减少或避免错误，所以一定要养成列表记录和处理数据的习惯。

作图法

利用实验数据，将实验中物理量之间的函数关系用几何图线表示出来，这种方法称为作图法。作图法是一种被广泛用来处理实验数据的方法，它不仅能简明、直观、形象地显示物理量之间的关系，而且有助于我们研究物理量之间的变化规律，找出定量的函数关系或得到所求的参量。同时，所作的图线对测量数据起到取平均的作用，从而减小随机误差的影响。此外，还可以作出仪器的校正曲线，帮助发现实验中的某些测量错误等。因此，作图法不仅是一个数据处理方法，而且是实验方法中不可分割的部分。 逐乘法

逐差法是物理实验中处理数据常用的一种方法。凡是自变量作等量变化，而引起应变量也作等量变化时，便可采用逐差法求出应变量的平均变化值。逐差法计算简便，特别是在检查数据时，可随测随检，及时发现差错和数据规律。更重要的是可充分地利用已测到的所有数据，并具有对数据取平均的效果。还可绕过一些具有定值的求知量，而求出所需要的实验结果，可减小系统误差和扩大测量范围。

最下二乘法

把实验的结果画成图表固然可以表示出物理规律，但是图表的表示往往不如用函数表示来得明确和方便，所以我们希望从实验的数据求经验方程，也称为方程的回归问题，变量之间的相关函数关系称为回归方程。

本章小结

在第二章中，主要是对IT服务设备数据处理技术相关的一些概念的进行简单的介绍说明。

3 IT服务设备数据处理设计

IT服务设备性能数据处理设计

IT服务设备性能数据处理架构设计

IT服务设备性能数据处理规则

(1)性能数据-轮询采集

IT服务设备告警数据处理规则

(1)告警数据-级别映射

1)监控管理系统分四个级别：严重、重要、一般、提醒;

2)分别收集整理底层监控工具的告警级别;

3)在系统的告警级别映射模块中，搭建系统与底层工具的级别映射关系;

4)此环节为获取原始告警信息后的第一个业务处理环节。

(2)告警数据-过滤

1)系统支持对对象或对象组的过滤，比如单独针对小型机或针对小型机、pc机一起定制过滤;

2)支持对IP、周期、级别、类型、业务系统、采集工具等的过滤;

3)支持对关键字的过滤;

4)支持对不同维度的交集或并集的联合过滤;

(3)告警数据-次数过滤

1)鉴于底层采集工具中，次数过滤的算法参差不齐，初步确定在本系统中搭建一层次数过滤机制。原工具自身包含算法的，设定为不启用。

2)系统提供告警次数过滤的配置功能，一旦设定了次数，需要同类型的告警连续达到此数字，才将告警抛出，否则将丢弃。

(4)告警数据-压缩

(5)告警数据-关联

策略1：对象指标关联

系统提供源指标和目标指标的配置功能，如在某时间段内，A对象的A1指标和B对象的B1指标均产生告警信息，而两指标又存在关联关系，则报出A1指标告警，同时在告警内容中反映B1指标受关联的提示。

策略2：类型指标关联

在对象指标关联的基础上，提供根据主机或业务系统泛化功能，即：A对象所属类型中的A1指标对同属一台主机或同属一个业务系统内的B对象所属类型中B1指标存在关联关系。

(6)告警数据-处理

本章小结

本章详细介绍IT服务设备数据处理设计架构，模块设计，业务处理规则设计思路等内容，主要包括以下内容：(1)性能数据-轮询采集处理;(2)性能数据-数据量折算;(3)性能数据-归档存储方案处理;(4)告警数据-级别映射;(5)告警数据-过滤、压缩;(6)告警数据-关联;(7)告警数据-处理与清除。

通过上述的方法和步骤，对IT服务设备的性能数据与告警数据的从收集到分析处理建立了一套行之有效的规则，保证了IT服务设备数据的及时性和准确性，为企业IT运维管理的有效开展提供了强有力的数据支持。

4 基于系统的测试与分析

系统测试分析

通过对性能和告警数据的处理分析，能够快速定位IT服务设备的告警信息，在业务拓扑图上也能明细定位设备问题。

本章小结

本章主要介绍了IT服务设备数据处理技术在系统建设实现中的应用，通过业务关联分析，能够快速定位IT服务设备故障，提高运维工作效率，提升整个运维管理水平。

5 总结与展望

经过系统的运行和测试，使用IT服务设备数据处理技术在IT运维管理上对问题定位起到决定性作用，同时提高了整个运维工作效率，提升了运维管理水平，为企业的信息化管理水平起到了促进的作用。

但是由于IT服务设备的复杂性，底层监控工具的多样性，目前IT服务设备数据处理技术的公用性和通用性还存在着一定的缺陷，该技术需要进一步的提升和优化。

展望，本文主要分析和论述了IT服务设备的性能数据和告警数据的处理，后续也可以考虑对IT服务设备的属性数据进行管理和分析，充分考虑数据与性能数据、告警数据的技术处理，为IT运维管理水平的提高起到积极的促进作用。

参考文献：

[1]薛尤贵.基于PCIM的告警分析处理方法[J].电信工程技术与标准化，2011(7).

作者简介：赵旭()，女，黑龙江人，研究方向：软件开发与运维。

作者单位：广州供电局有限公司，广州 510000

IT技术的日常生活化

【摘 要】互联网从最初崛起时作为最具震撼力的社会事件发展到如今近乎家喻户晓，期间伴随兴起的IT行业，催生出一批拥有专有技术知识的群体，他们借助网络平台共享技术知识。IT知识日益被民众所接受，拥有专业技术知识的人员是如何将自己拥有的知识社会化，普通大众又是如何内在化这些知识?IT专业知识融入后对日常生活产生了怎样的影响?文章拟在借鉴前人研究成果的基础上，通过文献资料的搜集与解读，就IT技术的“自然化”与日常生活化做一分析。

【关键词】IT技术的“日常生活化”;自然化;影响

一、IT的引入与虚拟社区的建立

从上个世纪80年代中国IT业起步至今已经过了30多年的风风雨雨，伴随中国经济社会的快速发展，IT行业的发展速度和技术更新的周期也越来越快，IT技术如何从最开始令人震惊的社会事件发现到被人们的日常生活所熨平，这一自然化的过程源起于IT专业技术知识人才的出现，这支队伍人数伴随IT行业在日益壮大 ，由于他们在日常生活中专业实践内容的日益丰富，一个依附互联网形成的为有着相同爱好、经历或与IT相关业务的网络用户服务的虚拟社区产生了，在这里他们可以相互交流和分享经验。

二、IT技术的日常生活化

(一)IT技术初入日常生活产生文化震惊

互联网起源于美国国防部先进研究计划局为军事目的而采用的一项工作，经过20世纪后30年的发展才逐渐进入人们的日常生活，最初IT技术的产生带来一场信息技术革命，技术神秘性对具有惯习的日常生活产生冲击，产生文化震惊，人们对这个知道的比自己多的多的并且运算速度超过人脑的庞然大物感到惊奇和震惊，那个时候的计算机还不为多数人所熟悉和使用，使用计算机还只是少数专业人员的事情。

在中国曾掀起三次计算机的普及高潮，普及的对象已经涉及一切有文化的人，可以想象对IT技术的震惊和好奇会随着IT技术的快速发展和人们不断接受的教育而消减。随即进入IT技术融入日常生活的第二个阶段，IT技术逐渐被人们接受并为日常生活服务。

(二)快速更新换代的IT技术抚平产生的文化震惊

日常生活的经济适用性和重复性特征习惯简单重复旧有的行为。然而，由于IT技术更新换代速度快，当新的IT技术出现的时候，人们已经在一定程度上被已有的IT技术所包围，因而新技术产生的社会震惊要小于最初进入民众日常生活。这个过程的实现是专业IT知识群体专业知识社会化和普通民众IT知识内在化两个过程结合实现的。

1. IT技术人员的专业知识客观化。(1)IT技术人员专业知识制度化的过程。人们的所有行为都会倾向于习惯化，在习惯化的过程中，偶然性行为逐渐采取有规则的形式变为可以预见的行为。行为的规则在行动者行为中保留、传递和发展的过程就是沉淀化。IT精英群体借助网络语言把习惯化的行为超出特定的行动情境而传递下来，这样用语言文字把行动规则巩固下来就产生了制度。进一步，行动的规则和制度经过长时间的执行和巩固，逐渐被互动网络中成员接受为一种传统。(2)IT专业知识合法化的过程。合法化的功能是使已经制度化的“初级秩序”客观化，在客观上可以得到，在主观上听起来可信。IT专业技术人员拥有的专业知识通过“类化”、“定型化”后在网络虚拟社区形成一种彼此共享认同的行为规则，这种规则或制度得以被执行和传递需要“合法化”的保证，它向人们解释和证明制度化的行为何以如此。

2. 非IT专业人员专业知识内在化。这个过程是通过行动者个人的社会化而实现的，包括初级社会化和次级社会化。(1)初级社会化是个体在孩童时期经历的最早的社会化，初级社会化的关键是“概化他人”在意识中的形成，当概化他人的概念在意识中晶化时，客观现实与主观现实之间的一种对称关系便确立下来。在这一内化过程中，个体对客观知识的学习主要来自父母。(2)次级社会化是制度或是以制度为基础的“亚社会”的内在化，一定程度上可以说，次级社会化是获取专门知识的过程，这些知识直接或间接地扎根于劳动分工，爱好信息技术或从事IT工作的人们最先获得这方面的专业知识。在多数次级社会化中，不需要个体对重要他人的情感认同，只需人与人之间进行沟通的相互认可即可，这时人们在与他人的沟通交流中内化各种IT知识。

IT群体的专业知识不断外化、客观化为客观知识，非专有知识群体又不断通过社会化来内化各种专业知识，共同构成技术的“自然化”循环往复的过程。渗透到日常生活中的专业知识又对民众的日常产生了怎么样的影响呢?

三、IT专业知识融入日常生活产生的影响

IT知识主观化使IT知识内化为普通大众的认知结构，从而提高他们的知识水平，对人类发展和社会发展都具有重大的理论意义和实践意义。

(一)加速社会知识的生产和进步

主观知识不断地转化为客观知识的过程就是社会知识加速生产的过程。IT专业技术人员通过社会实践等途径所获得的各种新的IT知识、新发现源源不断地从他们那里客观化到社会共有知识体系中，个体通过初级社会化和次级社会化等过程而内化那些贮藏在各种载体上具有创新性的客观知识，从而提高自身的知识拥有水平。

(二)有利于促进IT行业的更快发展

社会知识因主观知识不断地转化而提高质量，有利于促进了科学研究和科技教育事业的发展，并通过应用其科研成果推动了科学技术的发展与进步。随着社会知识质量的提高和数量的增长，人们通过交流和学习社会知识提高了素质，产生出新的消费需求，刺激新一轮的技术创新，普通大众新的消费需求将促使IT行业的更进一步发展。

伴随IT行业出现的IT群体，他们拥有的专业知识不断客观化以及普通大众将IT知识内在化这两个过程相互渗透、循环往复实现技术的日常生活化。与此同时融入日常生活后的IT技术在对社会各个方面带来各种影响，如何趋利避害，合理引导IT技术融入日常生活，需要每个人的努力。

参考文献

[1] 彼得・伯格，托马斯・卢克曼.现实的社会构建[M].北京：北京大学出版社，2009.

[2] 马恒通.主观知识客观化论纲[J].中国图书馆学报，2004， 30(5).

作者简介：潘广芝(1989- )，女，山东日照人，辽宁大学文学院研究生，研究方向：民俗学。