集团型企业云数据中心建设的阶段性研究

　　1 引言
　　云计算带来的革命性技术，对社会发展意义重大。在了解其虚拟化、标准化、自动化、高度聚合的特征之后，企业在业务快速发展的复杂环境下，应重新思考IT建设的思路、经济价值，改变以前高投入、低产出的价值实现方式。
　　对集团型企业来说，云计算的应用是由一体化的数据中心开始的。在实现云数据中心这个过程中，整体技术架构、产品选型、技术的应用方式，服务的投送方式、运维的流程和人员的工作方式都将发生较大的变化。在匹配企业发展的大目标下，整体规划设计，确定阶段性发展目标；协调资源，决定阶段内不同内容的发展顺序；对关键环节进行提前测试，将整个过程变得有序、高效、低风险，最佳化投入产出比是企业信息化部门的重点工作目标。
　　2 企业数据中心的挑战
　　随着国家经济结构的调整，企业将处于转型升级、扩展业务领域的过程，这种频繁变化的形势对企业信息化部门提出挑战，如何在快速多变的环境中，从信息化角度引领企业由传统 IT 资源升级改造向云演进，及时主动配合企业管理和业务的变化，是当前企业信息化部门需要重点研究的课题。云计算带给企业的不仅是技术创新，还是业务管理模式的变革，因此，云计算的真正落地对企业来说具有很大的挑战。
　　企业信息化建设过程中要打破传统模式，运用新的技术和理念，规划设计出具有高度灵活性、 敏捷性的IT 服务资源，并且采用科学的演进策略和路径，适应企业动态管理变革和业务调整，将关注点放在服务质量、绿色环保，优化管理成本和运营成本方面。
　　当今，如果没有 IT 系统的支持，任何一家企业都不可能有效地运营。信息化部门承担着越来越重要的战略角色，而作为企业整个IT系统的核心交换和控制中心——数据中心，更是举足轻重。
　　3 云数据中心的目标和量化评估
　　根据NIST（美国国家标准和技术研究院）对于云计算的定义：云计算是一个模型，这个模型可以方便地按需访问一个可配置的计算资源（例如网络、服务器、存储设备、应用程序以及服务）的公共集。这些资源可以被迅速提供并发布，同时最小化管理成本或服务提供商的干涉。具体而言，云计算是通过网络提供可伸缩的廉价的分布式计算能力。云计算代表了以虚拟化技术为核心、以低成本为目标的动态可扩展网络应用基础设施，是近年来最有代表性的网络计算技术与模式。云计算有三种服务模式：软件即服务（SaaS）、平台即服务（PaaS）、基础架构即服务（IaaS）。
　　企业云的应用场景中，涉及的功能实体有云运营方、企业业务应用方和一般用户方。云运营方可为企业业务应用方和一般用户方提供IaaS、PaaS等级的云服务，云运营方联合企业业务应用方可为一般用户提供SaaS等级的服务。集团自建云数据中心可为各级企业提供服务，一定程度上相当于云服务运营方。对于云服务运营方而言，由于虚拟化层的引入，物理架构和逻辑架构的分离，运营的难度将变大，对管理和人员的素质都将提出更高的要求。
　　除了在服务模式上的改变外，效率的提升是云技术对企业带来的最直接的受益，资源的整合，建立资源池，以细颗粒度的能力对资源进行分配，所带来的单体设备的利用率的提升以及多个应用在时间长度上对资源的对冲复用，将会为企业带来巨大价值。但是，资源池的集中程度还应在建设成本，运维成本，安全层次等方面进行权衡，实现最合适的数量和类型。对于以上参数的决策和评估应采用一套计算架构进行落地量化，实现科学的决策。关键的考核指标有：计算密度/平米；网络带宽/平米；能耗/平米，机房整体PUE值；计算资源、网络资源的利用率。
　　此外，敏捷性是云数据中心带来的，虽不易衡量但价值巨大的能力，资源交付的周期可从原来的数周降低到数小时。大集中的云数据中心集中了企业最重要的资源和财产，两地三中心的数据中心架构结合云技术能提供极高的商业持续性，灾难性事件，计划外停机事件，计划内维护工作均不会影响数据中心的运行。
　　总而言之，云计算服务应该具备几条特征：随需应变自助服务；随时随地用任何网络设备访问；多应用或用户共享资源池；快速重新部署，资源回收的灵活度；可被监控与量测的服务。
　　4 实现目标的演进路线和阶段
　　对集团型企业而言，要关注如何把企业的 IT 资源整合起来，形成一种服务模式，交付给业务部门和企业员工使用。在数据中心的发展历史上，从早期的完全竖井化结构到目前已经经过了几个整合过程，初期网络的整合，采用一套网络平台来承载多个业务系统，后来存储系统进行整合，数据中心采用独立的存储平台为多个应用提供存储服务。目前正在经历以服务器虚拟化带动的计算平台的整合。云数据中心可以看作服务的整合，目前阶段过渡到企业云仍是个复杂的过程，根据提供服务的等级的不同，可划分为三个阶段，如图1所示。
　　4.1 起点，基本实现数据中心的资源整合
　　这些整合包括网络的整合，服务器的整合，存储资源的整合，数据库平台的整合，中间件平台的整合，全部完成是最佳状态，退而求其次也需大体完成硬件平台的整合。
　　4.2 第一步，服务的虚拟化
　　在资源整合的基础上，将计算资源虚拟化，形成不同目的的资源池，以细颗粒度的单位分配。同时，网络资源也需进行高度的融合，将多种网络的需求集中在一套物理网络中，例如数据网络存储网络，管理网络等。简练的物理网络结构为网络资源的池化和灵活分配提供基础，为计算资源提供了在宽阔的范围上迁移的能力。网络资源的融合还包括和虚拟机网络的融合能力，让网络平台的感知能力直达虚拟机，完成物理架构和逻辑架构的衔接。存储资源也应进行虚拟化，在实现多数据中心的高可用性、现有资源利用和统一管理方面具有很好的优势。
　　4.3 第二步，供应的自动化
　　将整个数据中心虚拟化，部署云管理中心和安全管理中心，统一管理网络，存储，计算资源，提供完整的资源服务交付能力。应用向云计算平台迁移，自动化规则支持服务的交付、监控和事件管理。
　　4.4 第三步，高可用企业云
　　基于双活数据中心的，跨数据中心（端到端）的虚拟化，实现在云平台之上的业务连续性部署。
　　4.5 其它因素
　　垂直的测试路径：企业云中心的演进是技术、人员、管理互相磨合促进的复杂过程，有必 要在运营平台之外设立一个测试路径，以对技术、设备、管理流程和方法进行检验，可令整体的演进更加平顺。
　　人力资源的配合：企业云的复杂性和数据中心功能集中的特性，将造成对集团层面技术人员的需求增加，而降低三级单位和二级单位的人力需求。
　　5 集团型企业云计算建设实践
　　目前，根据规划的演进步骤，集团以新数据中心建设为契机，规划建设了虚拟化网络平台，和服务器平台，初步实现了两个平台的统一化，标准化，高性能化。其中网络平台可提供10G、40G、甚至100G的接入能力；数据网络和存储网络合二为一的数据中心交换架构，为高性能服务器和虚拟化服务器平台提供高性能、低成本、易管理的接入方式。应用一系列的网络虚拟化技术，在一套高可用的物理交换矩阵下，可灵活构建网络区域和功能分区，网络区域和功能分区可定义在任意物理区域，充分利用了物理空间。网络的服务能力也在虚拟化技术下构建，在一套服务平台下，可为任何网络区域提供防火墙服务和负载均衡服务，网络虚拟化技术的使用为数据中心将来的应用提供了极高的弹性。
　　5.1 数据中心网络虚拟化平台设计
　　网络虚拟化平台其范围为服务器接入直至核心交换机部分，这个范围以外目前的技术趋势仍以传统方式结合少量虚拟化技术为主。网络虚拟化平台的目的是大量应用各种虚拟化技术，为服务器的接入提供高可靠性、高性能、灵活的结构布局和网络服务、降低设备、线缆、能耗的投入。其他功能分区如互联网出口区、广域网区等均按所需结构连接网络核心。
　　在网络虚拟化平台的物理结构设计上，以支持大规模的服务器接入和匹配数据中心功能布局为目的，采用接入、汇聚、核心三层模式来构建，核心点为整个数据中心的中心，汇聚点为每个机房区域的中心。接入技术本次选用DAC万兆直连铜缆模式，相比SFP 加光纤的模式具有低成本、低能耗、易维护等优点，但传输距离较短，最长10米，因此接入结构做相应调整，采用柜顶接入方式，根据设备的端口密度和机柜内设备密度，多个机柜共享一套接入设备。网络的整体架构采用双中心全冗余方式，提供高的可靠性。为网络提供服务的服务平台设备通过多路万兆冗余连接两个核心交换机，具备虚拟化能力，可虚拟为多个逻辑设备供使用。采用数据中心交换架构技术，将存储网络合并于同一套物理网络中，降低了设备和线路成本，将存储网络的支持范围扩大到全网范围，如图2所示。
　　在网络虚拟化平台的虚拟化设计上，首先是网络结构虚拟化的实现，通过VRF、VLAN、VDC等一系列技术，将网络的拓扑进行虚拟化，使其分离于物理结构，避免了物理结构一旦确定后的不易调整、功能区域增加和删除的不易实现、各功能区域利用率不均衡造成的物理空间和能耗的浪费等缺点，为企业的发展和调整赋予极高的灵活性。网络服务的提供采用少量而高能力的设备实现，利用虚拟化技术虚拟多个逻辑设备将服务部署于需要的位置，降低了大量相同设备的高投资和高功耗。
　　在网络虚拟化平台的存储网络设计上，主体采用高性能的SAN技术构建，在服务器接入侧采用FCOE技术将存储网络合并于数据以太网络，以一套物理网络实现了数据交换和存储网络两大功能。为降低核心节点的复杂性，在汇聚节点以上存储网络分离于数据交换网络，接入独立的存储网络核心。在全网任意位置均可提供FCOE技术的存储网络接入能力，在汇聚节点和存储核心节点还可支持FC接口的设备的接入。在此结构下也可支持iSCSI协议的存储。
　　5.2 网络拓扑结构的实现
　　集团数据中心所规划的功能区域可分为服务器类型区域（接入服务器功能为主的，出口采用虚拟防火墙或物理防火墙，并可提供负载均衡服务的区域（如等级保护三级区域：集团服务区、运维区、系统服务区等）和非服务器类型区域（以出口服务为主的，根据自身要求结构多变的，无需网络服务层提供服务的区域，如互联网区、广域网区等）。核心交换机通过虚拟化技术将1台物理交换机虚拟成2台独立的逻辑交换机，分别用于服务器类型区域的连接和非服务器类型区域的连接，逻辑交换机旁挂连接防火墙设备，通过策略路由进行串接，完成各功能区域的隔离保护，两种类型区域将在逻辑交换机间采用L3 10G线路高速互联。L3的互联将逻辑上复杂的核心设备分离为相对隔离的两个部分，减轻了复杂性，缩小了故障的影响范围。
　　5.3 服务器虚拟化平台设计
　　服务器虚拟化平台是企业的计算核心，根据目前的应用情况和发展方向，小型机计算平台和X86计算平台在企业中均有其适用方向，因此需要分别进行资源池的构建。服务器虚拟化的构建需充分配合网络虚拟化的架构，利用新特性充分实现价值。在集团服务器平台的构建中，采用FCOE技术和网络平台对接，物理机采用一对支持FCOE功能的万兆网卡同时支持数据传输，存储网络和管理网络的功能，节省了大量的线缆和管理工作。构建两个资源池分别服务于生产环境和测试环境。
　　5.4 服务架构的实现
　　云计算的精髓是底层技术的封装和服务能力的提供，因此服务架构的实现也是关键。借鉴其他集团的经验，可通过服务标准化、服务分层与服务目录、服务可计量以及服务流程四个方面来实现。
　　5.5 网络虚拟化收益和云计算发展计划
　　服务器虚拟化平台在集团已有多年的应用，积累了丰富的经验，借助新的网络虚拟化平台，服务器虚拟化平台在出口带宽增长的情况下，大大降低了所需线缆的数量，节约了成本和能耗。同时网络平台的感知能力延伸到虚拟机层次，打通了服务器虚拟化和网络虚拟化的壁垒。
　　在全面虚拟化数据中心硬件平台建成之后，经过积累运行维护经验、了解底层技术的阶段，下一步计划实现管理自动化的目标，针对服务用户，梳理需求提交、审核、资源配置、资源交付、状态报告、资源回收、资源计费等服务流程和功能实现。借助自动化的工具，全面实现供应的自动化、服务的自动化、运维的自动化。同时针对数据中心的容灾进行规划建设，以双活数据中心为目标，实现端到端的跨数据中心虚拟化技术，实现业务连续性部署，达到企业私有云建设目标。
　　6 结束语
　　在迈向云计算的路途中，技术方面的困难由服务商、设备厂商所提供成熟产品和工作方法来克服，相对比较容易。云计算所引起的管理方面的改变，如部门间的职责界 面、分工协作则因企业实际情况的不同而千差万别，无一定之规，是关系到云计算实现质量的重点和难点。
　　参考文献
　　[1] 刘鹏.云计算的概念和内涵.中国云计算，2014-02-26.
　　[2] 雷万云.信息化与信息管理实践之道.清华大学出版社，2012.
　　[3] 雷万云.云计算——企业信息化建设策略与实践.清华大学出版社，2010.
　　作者简介：
　　王静（1973-），女，高级工程师；主要研究方向和关注领域：信息化管理工作。