基于存储区域网络的海量数据灾备系统的开发策
1 引言
计算机软件和硬件技术的发展促进了信息化的广泛应用,应用系统中的数据正以前所未有的速度急剧增加,银行、邮政、钢铁、石化和大专院校等大中型的企事业单位的信息系统对TB和PB级别的海量数据存在着实际的运行和管理需求。
数据是信息系统各种应用的基础和纽带,海量数据的安全存储和操作的高效快捷已经成为了大中型信息系统对数据管理的普遍要求。
在信息系统的建设过程中多数单位已经存在一定的数据存储和备份系统,由于缺乏系统整合和技术创新,随着信息化工作的深入和IT服务需求的不断增加,在实际的工作过程中若干问题逐渐开始浮现,影响了信息系统对企事业单位业务工作的支持和促进作用,存在的问题主要涉及几个方面。
(1)数据管理相互隔绝,信息系统的应用存在多个服务器和存储设备,数据存储各自独立,不能集中管理。
(2)数据存储空间不足,为了应对数据膨胀和应用程序对存储空间的要求,不断购买服务器和硬盘来增加空间,没有长期和根本的数据存储解决方案。
(3)数据备份手段单一,没有专业的备份系统,备份数据通过局域网共享文件方式进行,占用大量网络资源,并且人工操作环节过多,费时费力效率低下。
(4)数据安全级别较低,黑客入侵、病毒感染、密码泄露等安全问题时有发生,数据存储和物理实体完全对应,服务器和存储设备出现故障时缺乏安全的故障切换应急机制。
为了解决上述问题,本文设计了基于存储区域网络的海量数据灾备系统,充分利用先进的信息技术和应用架构为海量数据管理提供切实可行的解决方案。
2 系统设计
2.1 系统功能分析
基于存储区域网络的海量数据灾备系统在功能上要实现远程镜像、数据同步、故障切换等功能,即在不同的地理位置上部署近端本地系统和远端备份系统,两者通过光纤存储网络和计算机IP网络为单位提供数据通信、应用切换和负载均衡等企业级IT信息服务。
备份系统对本地系统进行数据一致性监听,当本地系统数据发生变化时,与备份系统进行数据同步备份;当本地系统应用服务出现故障或者服务器宕机时,备份系统根据“心跳线”监听发现之后将本地系统的相关服务接管到备份系统上直至本地系统正常工作后再将服务移植给本地系统。
2.2 系统框架设计
存储区域网络从系统框架上可以分为两种,一种基于光纤通道的存储网络SAN,另一种基于TCP/IP协议的存储网络IP_SAN。SAN框架的灾备系统出现较早,技术相对成熟,数据传输效率高,建设成本投入较大。
IP_SAN框架是近年来在高速千兆以太网迅速发展和普及的背景下产生的,系统搭建简单,建设成本较低,由于可以在现有的计算机网络中进行部署,在开放性、扩展性、安全性和兼容性等方面具有优势,得到了众多存储设备厂家的支持和推广,已经成为了当前海量数据灾备系统设计方案的主流。由于服务器设备更新换代速度较慢而且资产相对昂贵,所以原有的光纤存储系统SAN得以保留和利用,与当前的IP_SAN混合使用。存储区域网络灾备系统框架设计如图1所示。
3 关键技术
3.1 光纤通道存储访问技术
基于光纤通道的存储区域网络在组成上由应用服务器、备份服务器、光纤通道卡、光纤存储交换机和带光纤接口的磁盘阵列柜等组成,是传统意义上的SAN网络。对于基于光纤通道访问存储设备,首先要进行正确的设备连接,即构成一个全光纤接口和光纤线路的光通道存储网络;其次要对光纤通道卡和光纤接口的磁盘阵列柜安装相应设备驱动程序进行设备初始化,保证各个设备被操作正确识别和运行;再次要安装存储管理软件根据信息系统实际需要对存储设备进行虚拟化和逻辑卷划分,即将物理上分散的磁盘在逻辑上作为一个整体数据存储空间;最后要进行灾备系统设置,设置应用系统关键数据的备份方式和恢复策略。
3.2 IP网络存储访问技术
相对于传统SAN技术的复杂性而言,基于IP网络访问存储设备相对简单,其操作风格和符合常规的网络应用系统使用习惯。IP_SAN网络访问主要有三种标准协议,分别是iSCSI(SCSI over TCP/IP)、iFCP(Internet FC)和FCIP(FC over IP),这些协议分别应对纯TCP/IP网络环境和含有光纤传输协议的混合网络环境。
iSCSI是以太网上进行高速数据传输的标准协议,得到了多数存储设备厂家的支持和推广,可以在TCP/IP网络中传输SCSI协议定义的命令和数据,iSCSI使得存储区域网络在架构上不再依赖光纤通道。基于IP网络访问存储设备的工作流程和基于光纤通道访问存储设备的流程相似,需要设备连接、驱动安装、存储划分和灾备系统参数设置和方案实施等步骤。在计算机网络中应用iSCSI协议搭建海量数据灾备系统有多种技术实现方式。
(1) 以太网网卡驱动方式不需要iSCSI卡。
(2) iSCSI协议和iSCSI卡驱动方式需要iSCSI卡。
(3) SCSI协议和iSCSI控制器驱动方式需要iSCSI控制器。
这三种技术选择依据主要取决于IP_SAN磁盘存储阵列柜的型号和接口类型,为了实现高速IP_SAN并且发挥出iSCSI协议的优势,可以应用iSCSI卡来实现灾备系统搭建。
3.3 数据容灾备份技术
容灾备份系统也称为灾难恢复系统,其作用是在服务器遭受自然灾害或者其它不可抗拒因素导致的设备损坏或者意外时能够快速的对系统进行恢复,保证服务器持续不断的提供应用服务。数据容灾备份技术实现的前提是在异地建立一个数据备份系统,该备份系统通过自动或者被动的监控方式获得活动服务器的运行状态信息,在灾难出现时迅速接管服务,数据灾备系统的评价包括恢复点对象RPO(Recovery Point Object)的数量和恢复时间对象RTO(Recovery Time Object)的长短。
数据容灾备份的方法主要有双机热备份、磁盘阵列冗余、远程存储快照镜像等。在容灾等级上,可以根据单位信息系统关键业务数据实际需要选择数据级灾备或者应用级灾备,前者保证数据不丢失,后者确保应用不中断。
此外容灾备份还可以通过离线或者在线方式进行,分为管理员手工备份、系统自动备份、LAN备份、LAN-Free备份和Server-Free备份等,不同的解决方案有不同的容灾备份技术,在性能表现、操作步骤、系统兼容和扩容升级等方面各有不同,在数据容灾备份
策略上可以根据实际应用情况选择。
3.4 海量数据管理技术
大中型企事业单位信息系统的关键业务应用说产生和参与系统服务的数据往往是TB甚至更高级别的容量,对这些海量数据进行有效管理可以减轻服务器运行压力并提高系统服务的鲁棒性和可靠性。存储区域网络中各种应用所产生的数据在数量级上达到了海量级别,在存储机制上采取了逻辑统一、物理分散的策略,即对存储数据进行统一调度,对存储介质进行统一管理,将海量数据分块存储在信息系统存储列表对应的存储介质中。
对于海量数据管理而言,需要采用集群或者分布式应用系统实施负载均衡和高性能计算,提高对海量数据分析和处理的效率。就技术角度而言,需要对单位海量数据灾备系统进行管理配置,通过网络分组设置管理节点、存储节点和应用节点,根据实际数据传输和存储需要由管理节点按照优化的任务调度策略对数据处理进行分配和平衡,采用多线程或者并行计算来提高效率缩短服务准备就绪时间。
4 结束语
社会发展对信息系统提出了更多的应用需求,这些应用需求又促进了信息技术的不断进步。存储区域网络为大中型信息系统数据存储和容灾备份提供了行之有效的解决方案,存储区域网络自身也在技术应用和架构部署等方面不断朝着低成本、高性能、易扩展和小型化变化。数据是企业IT服务的基础和关键,建立快速有效的数据灾备系统可以为企事业单位关键信息服务业务提供安全和性能保障。
当前企事业信息系统中存储的数据已经逐渐步入海量级别,基于存储区域网络的海量数据灾备系统在实际运行过程中已经表现出了优秀的性能和关键的作用,具有广泛的应用前景和巨大的存储潜力,企事业信息中心和IT运维部门应该对其加以重视,使其为本单位的信息系统服务发挥出更大的价值。
参考文献
[1] 金国刚,马志程,王鹏,李晓晶. 数据级容灾系统的研究与实施[J]. 电力信息化, 2011(11).
[2] 周佳骏, 杨毅. 基于双站的群集互备联动容灾研究与实现[J]. 图书馆论坛,2011(3).
[3] 刘其成,郑纬民,陈康. 虚拟化技术在容灾系统中的应用[J]. 小型微型计算机系统, 2010(10).
[4] 曲明成, 吴翔虎, 廖明宏等. 一种数据网格容灾存储模型及其数据失效模型[J]. 电子学报, 2010(2).
[5] 王茂林,蒲全武,郭伟. 银行规模、轨道交通AFC系统数据库容灾系统方案设计[J]. 铁路计算机应用, 2010(2).
作者简介:
庄欠满 (1979-),男,山东莒南人,大学本科,工程师;研究方向:IT项目管理项目管理。
上一篇:软件开发实践中工程技术的应用探索
下一篇:论软件安全漏洞挖掘技术创新的方式