首页  ·  知识 ·  基础设施
云数据中心演进思路剖析
唐宏 陈楠    数据中心  编辑:dezai   图片来源:网络
近年来,云计算在学术界和产业界均获得高速发展。云计算基于互联网的业务模式促使新型数据中心的出现,利用云计算技术可以有效解决目前数据中心普遍存在的资源利
近年来,云计算在学术界和产业界均获得高速发展。云计算基于互联网的业务模式促使新型数据中心的出现,利用云计算技术可以有效解决目前数据中心普遍存在的资源利用率低、能耗过高、基础资源出租类业务比重过大等问题。新一代云数据中心逐渐获得了业界的认可与探索实践。本文首先对云数据中心的概念进行辨析,然后在分析云数据中心关键技术的基础上,从网络架构、基础设施、资源管理、服务提供、运营维护、规划建设和绿色节能等角度分析了云数据中心的特点与发展趋势,最后给出传统IDC运营商的应对策略。

1云数据中心内涵

云计算是一种将池化的集群计算能力通过互联网向内外部用户提供按需服务的互联网新业务,是传统TI'领域和通信领域技术进步、需求推动和商业模式变化共同促进的结果,具有以网络为中心、以服务为提供方式、高扩展高可靠性、资源池化与透明化等4个特点,云计算的出现,使IT资源具备了可运营的条件。数据中心是云计算生态系统中的重要一环,在云计算模式下,信息的存储、处理、传递等功能均由网络侧完成,实际上由数据中心承担。由于传统数据中心存在资源利用率低、自动化程度低、能耗过高等一系列问题,无法有效承载云计算业务,因此基于云计算技术的新一代数据中心应运而生。

云数据中心是指以客户为中心、以服务为导向,基于高效、低能耗的IT与网络基础架构,利用云计算技术,自动化地按需提供各类云计算服务的新一代数据中心。云数据中心是传统数据中心的升级,是新一代数据中心的演进方向。云数据中心具有以下5个特点。

(1)资源池化

云数据中心内的仃资源和网络资源将构成统一的资源池,实现物理资源与逻辑资源的去藕合,用户仅需对逻辑资源进行相关操作而无需关注底层实际物理设备。

(2)高效智能

基于虚拟化、分布式计算等技术,利用低成本的集群设备实现高效廉价的信息承载、存储与处理,同时通过管理平台实现自动化的资源监控、部署与调度以及业务生命周期的智能管理。

(3)面向服务

整体架构以服务为导向,通过松藕合的方式实现多服务的综合承载与提供,云数据中心由提供资源变成提供服务,用户通过服务目录选择相关的服务,对底层实际资源透明。

(4)按需供给

底层基础架构在资源池化的基础上根据实际需求实现资源的动态伸缩,并提供完备的、细颗粒的计费功能,云数据中心还将根据上层应用的发展趋势,实现对底层物理设备的智能容量规划。

(5)绿色低碳

通过模块化的设计以及虚拟化等绿色节能技术,降低云数据中心的设备投入成本以及运营维护成本,实现低PUE值的绿色低碳运营。

云数据中心率先在Google , Facebook等互联网公司的自有业务中获得成功应用,并成为这些企业的核心竞争力之一,同时亚马逊、微软等业界巨头也正尝试(初期实践)利用云数据中心向公众提供包括IaaS,PaaS和SaaS在内的云计算服务。

2云数据中心关键技术

2.1虚拟化技术

虚拟化技术的本质是实现底层物理设备与逻辑资源的去祸合。通常所指的虚拟化即服务器虚拟化,可以在相同的一套硬件上运行彼此独立的操作系统和应用软件。服务器虚拟化具有同质、高效、资源受控的特点。虚拟化后的虚拟机可以根据需求弹性增加或减少其分配的硬件资源,提高资源配置的灵活性,同时可以在单一物理服务器上运行多个虚拟机,提高了资源利用率,降低了能耗。通过服务器虚拟化可以将整个系统(包括硬件配置、操作系统以及应用等)封装在文件里,实现(虚拟机)系统的快速部署、软件发布和系统备份,同时在业务不中断的情况下,实现在不同物理服务器上的动态迁移,增强系统的可靠性和扩展性。

除服务器虚拟化外,虚拟化技术还包括存储虚拟化和网络虚拟化。存储虚拟化是指通过对存储(子)系统或存储服务的内部功能进行抽象、隐藏或隔离,使存储或数据的管理与应用、服务器、网络资源的管理分离,从而实现应用和网络的独立管理。存储虚拟化可以在系统的多个层面实现,如建立类似于HSM(分级存储管理)的系统,同时,存储虚拟化技术的出现解决了系统异构的问题。网络虚拟化的狭义概念是传统虚拟专用网络,通过VPN或者VLAN的方式在公共网络上建立虚拟专用网。近年,计算虚拟化“多对一”的特征对网络提出了与底层虚拟机相适配、互感知的新要求,充实了网络虚拟化的概念。传统网络逐步具备了虚拟交换机、虚拟网卡、虚拟化动态感知以及大二层网络等特点。

2.2分布式计算技术

分布式计算技术使几个物理上独立的组件作为一个单独的系统协同工作,这些组件可能指多个CPU或者网络中的多台计算机。大型分布式系统通常会面临如何把应用程序分割成若干个可并行处理的功能模块以及如何解决各功能模块间协同工作的问题。这类系统可能采用以C/S结构为基础的3层或多层分布式对象体系结构,把表示逻辑、业务逻辑和数据逻辑分布在不同的机器上,也可能采用Web体系结构。基于C/S架构的分布式系统可借助CORBA,EJB,DCOM等中间件技术解决各模块间的协同工作问题;基于Web体系架构(或称Web Service的分布式系统),则通过基于标准的Internet协议支持不同平台和不同应用程序之间的通信。对于数据密集型问题,可以采用分割数据的分布式计算模型,把需要进行大量计算的数据分割成小块,由网络上的多台计算机分别进行计算,然后对结果进行组合得出数据结论。MapReduce是分割数据型分布式计算模型的典范,在云计算领域被广泛采用。

2.3运营管理技术

运营管理技术是云数据中心运营管理平台所涉及的一系列技术的泛称。

典型云计算运营管理系统如图1所示,一般包括资产管理、资源封装、资源部署调度、资源监控、模板管理、服务目录管理、服务实例管理、服务门户、计费、报表等模块。

资产管理实现对云承载平台中的物理设备及硬件进行统一信息管理与资源信息查询。资源封装实现对物理资源、虚拟层及专业管理层的统一管理,屏蔽底层硬件及虚拟化异构,整合系统中所有可用资源,对资源的生命周期和资源信息进行综合管理。资源部署调度实现对物理网元、虚拟资源生命周期和资源信息的动态、弹性、按需的流程化、自动化调度,按照策略自动进行资源部署以及流程操作,根据应用、服务的负载情况,动态分配物理和逻辑资源。资源监控实现对各类物理资源和虚拟资源定时的、统一的、具有多层次多颗粒度的集中监测,为达到阂值的项目显示告警。模板管理实现从创建、发布、激活、挂起、撤销到删除的模板生命周期管理以及快速部署。服务目录是指对服务整个生命周期及服务配置进行管理。服务实例管理通过执行服务目录定义的服务实例申请、变更、终止等服务请求处理流程,对服务实例的生命周期进行管理。服务门户提供用户、服务设计人员、服务审批人员及维护人员的人口。计费网关对资源服务使用量原始信息进行收集,生成满足BSS系统格式要求的账单,通过外部接口输出到BSS系统。报表管理将云计算系统中的资产情况、资源使用情况、服务模板、服务实例、监控信息、性能报告、用户信息等信息形成统计报表。

3云数据中心的关键问题

3.1云数据中心网络架构

构建高集中度、高可靠性、低成本的云数据中心是运营商和企业的迫切需求ui。整体来说,网络架构应满足以下3个条件。

·业务系统和数据集中化,网络与业务管理的集约化和扁平化。

·高效的资源利用率。

·存储和网络设备具备更高的可靠性。

换言之,云数据中心的网络应具备扁平化、融合化、动态感知和高速化的特点。虚拟化技术在云数据中心内的应用需要一个超大型的二层互联网络作为基础,通过超大型二层网络减少二层环路,实现快速故障收敛,提高链路利用率,简化管理,减少设备配置量,并且能够根据实际情况实现端口的弹性扩容,以满足新一代IDC灵活提供业务的需求;同时,可实现虚拟计算资源的在线迁移和调度以及业务的动态扩展。相关主要技术概述见表1。

目前IETF和IEEE等标准化组织正在进行大二层网络方面的研究,处于草案阶段的TRILL(transparent interconnectionof lots of links,多链路透明互联)协议及SPB (short pathbridging)协议正尝试解决网络的二层透明环境部署问题。传统数据中心存在异构业务网络(以太网)和存储网络(SAN ),两者无法替代,由此带来了成本、扩展性、管理等诸多问题。

随着无损以太网和FcoE的出现,新一代基于万兆的无损以太网将融合数据中心的存储网络形成全业务的统一交换,数据中心原本异构的网络形态将合并到一套网络,实现了网络管理合并,简化了网络管理,降低了成本。传统的网络交换机通过一个物理端口感知与之连接的服务器,而集成了虚拟技术的网络设备能够通过一个虚拟端口实现对其连接服务器内的单个虚拟机的动态感知以及对每个虚拟机相关的网络流量的感知,从而将单个虚拟机属性扩展到整个网络,当虚拟机在整个网络迁移时,交换机能够追踪这种迁移,并确保网络设置与虚拟机实现同步迁移。网络对虚拟化的动态感知不仅使得管理简化,同时网络性能也会提升,架构也更合理,目前IEEE的802.1Qbg EVB(edge virtual bridging)和IEEE 802.1 Qbh BPE(bridge port extension)小组正在进行此方面的研究。

 

图1典型云计算运营管理系统

在云数据中心中,物理交换机与物理服务器之间的链路中同时传输来自多个虚拟机的数据。另外,除了业务数据流量,链路中还增加了虚拟机运行时所需要的系统流量。高密度的虚拟机数量使单位空间和单位网络接口剧增,必将驭动服务器I/O向10 G发展并达到10 Gbit/s线速,接入层的高性能吞吐必然驱动云计算网络架构支持更高性能,云数据中心网络架构将推动基础网络快速进入超高速时代。

3.2云数据中心的基础设施

云数据中心的基础设施包括网络设备、IT设备(服务器、存储等)以及制冷、动力、UPS等配套设备。对于网络设备而言,由于网络流量增大,单台设备应具备更高的处理能力,同时多台设备在逻辑上应虚拟成一台设备,即在不占用设备接口的情况下,灵活地把多台设备堆叠/集群构成一台设备,以提供高可靠、无环路、大容量的数据中心网络,在提高线路利用率的同时,保证了可靠性,降低了运维复杂性。在设备选择上,应选择单机容量较大,同时支持堆叠技术与虚拟化感知技术的网络设备。对于IT设备而言,随着PC服务器虚拟化技术的流行与普及,基于x86架构的服务器集群将成为主流计算设备。由于单台物理服务器将承载多台虚拟机,因此云数据中心的服务器应具备更多的内存与I/0带宽,同时还应考虑实际的应用模型对服务器CPU、内存、I/0、硬盘等器件以及布局与外型规格进行定制。现阶段服务器虚拟化技术动态迁移等功能必须基于后端存储网络的解决方案,故需根据业务需求(如支持虚拟机动态迁移功能)、性能、成本等因素,选择SAN存储或分布式存储方式。

云计算促使IT和CT的界限日趋模糊,业界出现了以Vblock为代表的整合计算、存储、网络和管理功能的一体化基础设施垂直解决方案,在行业客户中获得了一定应用,被认为是基础设施的发展趋势之一。同时,整合通风、制冷等配套设备的集装箱式数据中心解决方案也逐渐走进人们的视线,该方案以其模块化、便捷化的特点吸引了业界的关注。从整体上说,这类垂直一体化的解决方案,一方面简化了底层基础设施的配置与管理难度,降低了运行维护环境的要求,但另一方面,其在兼容性与扩展性上存在一定限制,标准化程度较低,容易出现提供商“锁定”的情况,应慎重选择。

3.3服务提供

传统IDC业务以带宽、机架等基础资源出租为主,在云数据中心模式下,将实现从资源出租向服务提供的转变。用户不再关注某类具体资源或硬件的情况,而是通过统一的门户,在服务目录中选择相应的服务,在一定SLA的保障下,使用逻辑资源与上层应用。

虚拟主机与云存储将代替机架与带宽出租等资源性业务成为云数据中心的基础服务(业务),基于该类服务还可实现包括网络加速优化、数据库中间件、解决方案等一系列的增值服务(业务)。以亚马逊的AWS为例,EC2和EBS,S3分别是其虚拟主机与云存储服务,基于该服务,衍生出CIoudFront(网络加速),Elastic Load Balancing(动态负载均衡),SimpleDB(简单数据库),Relational DatabaseService(关系数据库),Simple Email Service(简单邮件服务)等增值服务。云数据中心将提供颗粒度更细的计费单元。以虚拟主机服务(业务)为例,用户既可以选择传统的包月或包年模式,也可以根据实际的使用时间(精确到小时级)付费。

 

表1相关主要网络技术概述

3.4运营维护

首先,云数据中心将改变传统的运营维护模式。云数据中心的部署模式要求实现各地资源的统一管理,对于运营维护而言,意味着必须实现集中维护和分层分权的管理。由于云数据中心将统一承载各类虚拟机甚至各类应用系统,因此资源承载平台将通过维护实体实现资源的统一监控、管理与调度。云数据中心各节点与管理平台(中心)之间将呈现层级关系,通过权限的划分,实现各数据中心间的一体化以及维护操作的集中化。

其次,虚拟化技术的广泛应用将打破传统维护角色的界限,并引入新的维护角色。传统数据中心所定义的网络、服务器、存储管理员等角色在云数据中心中将出现角色交叉,服务器管理员须参与部分网络和存储的配置管理与维护,网络管理员也需要参与服务器端的管理与维护,在网络融合的情况下,还需要综合考虑存储的配置、管理与维护。同时,随着虚拟化(Hypervisar)层的出现,将定义新的虚拟化管理员负责Hyperuisor的维护与管理。另外,云数据中心以服务为提供方式也使得运营维护中必须定义相关的角色从事服务(实例)的运营维护。

最后,云数据中心IT资源可运营与以服务为提供方式的特点,将改变运营维护流程与对象。由于利用资源池实现了IT基础设施的统一承载,因此必须增加对资源池生命周期的管理,同时各类服务、服务实例、镜像等对象的生命周期管理也应纳入相应的运营维护流程。

3.5规划建设

云数据中心的规划建设应基于分级管理体制,整体上由总部统筹管理,在各区域设置地方分支机构,各分支机构在总部统筹的基础上开展云数据中心的规划建设。

在云数据中心中,IT资源以资源池的方式对外提供。IT资源部署如图2所示。资源池一般划分为若十专业域,专业域由多个集群构成,每个专业域承载一类业务。集群是最小的管理单元。集群由若干台中高端服务器与后端存储组成,集群内的虚拟机具备热迁移的条件。服务器的配置应以集群为单位进行统一,以便于采购、建设和运维管理。集群内服务器根据承载的应用(虚拟机)特点优化配置,总体来说,应选用支持硬件虚拟化功能的CPU、内存和网卡。在同集群内,应选用同一款虚拟化软件。后端存储应根据具体应用需求,综合考虑性能、价格等因素,分级使用本地存储、FG SAN存储和IP SAN存储,兼顾资源池的存储I/O能力和共享存储能力。

 

图2 IT资源部署示意

对于网络资源,应分为业务网络、虚拟网络、存储网络和管理网络等进行部署与规划。业务网络的部署和管理配置应尽量减少弹性资源平台对网络的依赖,减少业务开展和运营时上层业务和下层网络之间的配置联动。从安全隔离和性能角度出发,应将业务网络和其他网络分离。虚拟服务器的网络接入控制点应设置在虚拟网络中,而不是传统的接入交换机上,并提供VLAN,限速,QoS,ACL、防IP/MAG地址更改、策略迁移和复制等功能。由于各种存储产品各具优劣势,分别覆盖不同的应用场景,应结合具体应用需求,综合考虑性能、价格等因素选择存储产品。管理网络应与外网隔离,并以IDC机房为基本单元,根据业务的扩展和管理系统的架构需求,逐步扩展。

3.6绿色节能

云数据中心相对于传统IDC更加绿色节能,具体体现在芯片、物理设备、虚拟设备、机柜、数据中心等多个层级。在芯片级,低功耗的CPU、内存、硬盘、SSD(固态硬盘)等低功耗节能组件的使用,能有效降低设备的能耗。在物理设备级,高转换效率电源模块的使用提高了电源转换效率,同时优化的散热风道也使得设备散热效率提高。在虚拟设备级,虚拟化技术的应用实现了资源共享,提高了单台设备利用率,由于虚拟机具备动态迁移的功能,故可通过关闭利用率较低的设备并将应用集中到部分物理服务器上,从而进一步降低能耗。在机柜级,通过提高机柜计算、存储密度以及对IT设备用电功耗进行精细化管理,利用数据分析实现机柜级功耗的峰值控制,在性能和功耗之间取得平衡点,并可通过高压直流供电提高电源转换效率并降低能耗。在数据中心级,通过对设备用电及环境温湿度数据的分析诊断调整机房布局,动态优化送风、除湿和制冷机制降低能耗,使用新兴配电和冷却技术降低数据中心的PUE值,在合适应用场景还可以利用模块化数据中心、集装箱数据中心,通过水冷、冷媒等散热方式降低机房的PUE值。

4传统IDC运营商应对策略

传统IDC向云数据中心演进是一个渐变的过程,而不是一场一跳而就的变革。云数据中心业务必将对传统IDC业务产生较大冲击,对于传统IDC运营商而言,如何平衡两者间的关系实现IDC业务的平滑升级,是必须面对的一大难题。目前云数据中心是利用功能相对单一的平台满足规模用户的需求,兼容性和标准化程度较低,同时,云数据中心业务模式被市场广泛接受,商业模式趋于成熟也需要一定过程。现阶段建议IDC运营商应通过试点的方式逐步探索云IDC业务的商业模式与市场接受度,积累运营、维护、建设经验,培育客户群,同时在内部建立相适配的管理体制与流程,提高运营能力,扬长避短,有效聚焦客户需求场景,利用“云计算”技术成熟度包线的主流技术手段,分阶段实现传统IDC业务向云数据中心业务的升级,降低技术和时间风险。

在设计云数据中心业务时,应充分考虑网络因素。基于业务/资源/能力需求自动快速适配云数据中心离不开网络支持,网络覆盖、带宽供给能力和自动调配水平制约着云数据中心业务的执行。国外领先IDC运营商纷纷将云计算与网络能力深度整合。利用网络VPN技术不但可以帮助客户实现云集成服务,而且可有效提升客户云应用体验和接入安全性。IDC运营商应当将自身IDC/IaaS资源与VPN结合,实现协同推广,使VPN客户更容易访问云资源,同时将业务领域拓展到传统范畴之外。

5结束语

云数据中心是近期业界关注的焦点,本文通过对云数据中心概念的辨析,总结归纳了云数据中心资源池化、高效智能、面向服务、按需供给、绿色低碳等5个特点,并在分析云数据中心涉及的虚拟化、分布式计算、运营管理等核心技术的基础上,针对云数据中心架构、基础设施、服务提供、规划建设、运营维护、绿色节能等核心问题进行阐述,最后结合传统IDC运营商的实际情况提出云数据中心的应对策略。

云计算正重新定义网络与IT边界,产业链价值正在向内容/应用提供商聚集,更多IT厂商涉足运营,云数据中心逐渐成为各方争夺的焦点之一,市场前景被广泛看好。产业链各方应携手共同促进商业模式的成熟、市场接受程度以及标准化和兼容性的提高,使云数据中心早日规模应用,加快社会信息化进程。

本文作者:唐宏 陈楠 来源:网络
CIO之家 www.ciozj.com 微信公众号:imciow
    >>频道首页  >>网站首页   纠错  >>投诉
版权声明:CIO之家尊重行业规范,每篇文章都注明有明确的作者和来源;CIO之家的原创文章,请转载时务必注明文章作者和来源;
延伸阅读
也许感兴趣的
我们推荐的
主题最新
看看其它的