首页  ·  知识 ·  基础设施
设计企业信息数据集中存储系统平台建设
张瑞祥 吴东辞 石悦淇    数据中心  编辑:dezai   图片来源:网络
企业数据中心是数据信息及业务应用系统的总控中心,为企业提供全面的业务支撑平台。在构建企业数据中心的存储系统时,将面临多种存储技术和相关设备的选择;勘察
1 引言

勘察设计行业实施计算机辅助设计的发展战略已历时多年,其间企业生产过程所产生的各种设计文件数据、经营管理业务数据、施工管理数据、物资采购数据、企业资源综合数据等信息呈现了爆炸式的增长;由于这些信息资源与企业的人力、财力、物力和自然资源一样是企业至关重要的资产和企业发展的基础,合理建造企业信息资源安全存储、集中管理与快速共享的基础环境,将为企业进一步的信息资源开发和利用提供保障。

2 设计企业信息系统现状

在企业重组后我院信息化建设出现了新情况,不同单位和部门都建立了自己的项目管理系统、经营管理系统等信息系统。而这些基于特定业务模型和传统技术平台开发的应用系统不具有跨平台、跨数据库、跨服务器的特性,产生的信息资源被独立分散在各自封闭的体系内形成了信息孤岛。信息资源使用效率不高、无法有效共享和交互,重复维护信息率高,一致性和完整性难以保证;独立开发和孤立应用的系统各自存放业务数据,造成了应用系统之间数据重复冗余现象严重,大量出现如企业发文需要经由电子邮件系统和OA办公自动化系统两条途径分别传送、存放等类似情况,给企业的业务数据统一管理带来了困难。

我院的信息系统拥有协同设计服务器、电子邮件服务器、档案管理服务器、OA办公自动化系统服务器、经营管理服务器等20多台应用服务器。随着计算机信息系统在生产、管理领域的不断推广应用,生成的业务信息数据日益增多,每台服务器中存有大量的数据信息,为应对业务数据的暴涨就不断扩容服务器的存储硬盘空间;主要业务服务器都安装了内置磁带机进行数据备份存,每台服务器都安装了备份软件和制定了数据备份、灾难恢复措施,备份数据的方式、途径和数据存放的不一致,也增加了数据管理的复杂性和不便性。这些服务器建有自己的存储和备份系统,管理员只能分别对其进行设置操作,不能进行设备的集中管理;各服务器的存储系统隔离、备份设备无法共享,也极大浪费了企业资源和投资成本。

3 设计企业信息数据存储的需求

3.1 建设基于SOA的业务基础平台发展的需要

“十一五”信息化发展规划指出勘察设计行业要在计算机技术的支撑下,实现协同设计、优化设计、信息集成、资源共享。目前,我院正在建设基于SOA面向服务架构技术、集成综合管理与办公自动化、项目管理、图档管理和企业知识管理为一体的企业综合管理信息系统。利用计算机网络搭建一个具有跨平台、跨数据库、跨应用服务器的开放、互动、协同的信息管理平台,将运行在不同平台和技术下的多个应用程序互通、互联,在不改变企业应用底层架构的基础上,依据企业业务逻辑需求重新组织已有的数据存储,实现企业信息资源的整合。

企业数据中心是信息管理平台的核心基础,将实现全院经营、生产、财务、人力等各项业务的信息整合,完成数据的集中存储保护、数据处理、支撑应用系统的应用和企业信息资源共享。作为集中的数据存储平台,数据中心的存储系统需要一种容量大、安全性高、管理方便、数据查询快捷的物理介质来承担存储和管理任务,以便更好为业务系统持续提供不间断的数据服务。

3.2 图纸档案管理电子化的需要

我院的企业图纸档案管理电子化工作已开展多年,对大量的工程图纸的蓝图、底图和纸质档案资料实施扫描,以图像方式存储为计算机电子文件,并利用清华紫光档案管理系统对相关文件进行立卷、编目、入库等归档管理。电子化的工程图纸档案是历史资料需要长期保留,保存在服务器磁盘上存在着重大的数据安全隐患,刻录成光盘离线备份又使得资源管理产生困难;另外,存储这些资料占据了服务器的大量硬盘空间,但很少被在线查询、借阅也造成了购置硬盘投资浪费。为了便于在线检索这些历史数据信息,引入了光盘库二级存储系统作为磁盘容量的扩充,能实现数据在线访问,又可进行在线数据归档备份以及光盘资源的管理。

4 设计企业信息数据集中存储系统平台建设

4.1 我院数据中心系统简述

我院的数据中心汇聚了集中的业务应用系统、业务应用系统数据库、数据交换平台和应用集成平台等,是企业信息系统的数据资源进行集中、集成、共享、分析、加工、流转的管理核心场所,整个数据中心按照信息应用和资源管理的功能划分为业务架构与系统集成(SOA ECA)平台、综合管理信息系统平台、数据交换平台及主题数据库等区域。

数据中心的综合管理信息系统平台将建有工程协同设计管理、工程建设项目管理、综合业务管理、图1企业数据中心系统

OA办公自动化、图文档案管理和企业知识管理等业务应用系统,以及人力资源库、合同数据库、客户信息库、项目信息库和产品价格库等业务应用系统数据库。综合管理信息系统采用了集中与分散相结合的部署方式,分支机构数据源与数据中心的数据交流与采集通过VPN网络,利用数据交换平台来实现。

4.2 企业数据中心存储系统

目前,全院各种信息系统存储的数据信息总量约2TB,建成的综合管理信息系统的数据信息量预计以每年1TB的速度增长。在数据中心担当集中处理、存储、备份、管理各应用系统数据的硬件支撑平台,需要建成为超大存储容量、高数据传输率以及高可用性的信息存取、共享的数据存储网络系统。

4.2.1 数据存储技术的选用

数据存储技术有DAS直接连接存储、NAS网络连接存储、SAN存储区域网络和基于IP的网络存储技术四种类型。目前用户常用的IPSAN存储网络集SCSI、以太网和TCP/IP等技术于一身,相对于FCSAN减少了不同的网络和布线,使用常规以太网交换机而不必专用光纤通道交换机和安装、维护成本较低等成本低廉。当用户需要较长的传输距离时,IPSAN存储设备能在Internet上运行以满足应用前端存储数据的要求,具有无限长度扩展的优势。

我院建设的管理信息系统业务基础平台由CRM库、项目管理库、档案管理库、OA库、协同设计数据库、企业知识数据库、多媒体数据库等组成,其中的应用数据均通过数据库服务器实现存储、读取,IPSAN对于以数据库形式存取数据的操作能提供高效的网络存储服务。数据中心是信息系统数据资源集中和统一管理的平台,将会有大量业务信息系统服务器和数据库服务器接入集中存储系统,选用基于现有以太网的IPSAN存储架构,它具有和FCSAN一样的高传输速率,更能节约接入成本、加快实施速度、易于集中管理和降低设备的管理成本。分支机构数据源与数据中心的数据交流与采集通过了网络进行长距离传输实现,IPSAN存储设备能在Internet上运行以满足应用前端存储数据的要求,具有无限长度扩展的优势。

4.2.2 数据中心存储系统平台

根据我院现有的应用系统和数据量、数据类型,以及对未来一段时间企业信息化建设的展望,数据中心的存储系统采用了IPSAN存储架构,并选用H3C的NeoceanIX1500作为核心存储设备,这主要认可了该设备的存储管理软件NeoStor是与硬件、协议、平台和厂商无关,基于开放的工业标准,比如Internet协议、光纤通道、SCSI、iSCSI和以太网技术开发、运行。我院数据中心的存储系统拓扑图如图2所示。

NeoceanIX1500能提供单台16TB数据存储量、最大扩展至64TB存储容量,可较好满足本企业业务迅速发展伴随的数据爆炸式增长对存储的需求。采用点对点全交换架构,每块磁盘均独享3Gb带宽,适合我院管理信息系统平台对在线数据库密集访问的应用方式。对其拥有的4个前端GE接口进行链路捆绑,多条数据链路支持链路聚合和动态故障切换,在保证数据读写带宽的同时保障了数据通路的畅通。

存储设备通过IPSAN交换机与局域网多台服务器建立连接,其中,IPSAN网络使用已有的网络交换机和网络链路,没有额外增购网络设备和材料;每个服务器端在不改变硬件的情况下,为网卡安装iSCSI封包软件驱动程序,通过以太网获得存储设备的磁盘空间和访问后台存储设备里的数据。为保证各个应用系统互不干扰,首先对存储设备的磁盘空间划分了多个物理卷,利用NeoceanIX1500设备支持分级组合存储的功能,使用SAS磁盘存放如项目管理库、协同设计数据库、知识库数据库等关键业务数据,而对容量需求较大的如档案管理库、多媒体数据库等海量存储应用,则使用SATA磁盘;通过分级存储,单台存储设备就能满足对性能和容量各有偏重的不同应用需求,提高了存储资源利用率和节省了投资成本。

为项目管理系统、协同设计系统等关键业务的数据实施连续保护措施,即开启存储设备的timeMark全自动连续数据快照功能,对此类数据的逻辑卷创建了基于工作时间里、数据集中访问时间段里每隔2小时的timeMark时间点标记,可在发生软件程序导致的数据损坏、病毒破坏、意外删除及其它人为误操作引起的数据丢失或错误时,迅速通过对正确数据的时间点标记进行“回滚”来快速恢复数据。

由于我院信息管理平台的数据库采用集中与分散相结合实施部署,数据中心对各异地分支机构部署信息系统的数据信息也实施了集中管理措施,依据IX1500设备支持TCP/IP网络技术的特点,通过数据中心与分支机构之间已架起的VPN网络或专线网络作为数据信息传输链路,利用SQL数据库的复制技术将辅助数据库信息数据键入到主数据库中,完成数据从源系统到中央业务数据库的数据汇聚和数据共享,对企业数据资源的集中存储、统一管理都将在IX1500存储设备上完成和实现。

虽然IX1500设备的操作和管理非常简单,无需添加任何其它专用设备能直接通过网络与IX1500相连,像访问本地磁盘一样对IX1500的磁盘、RAID组等存储资源进行配置操作和状态监控,但我们充分利用IX1500支持声音和e-mail告警功能,设置了磁盘空间溢出、环境温度超限等多项告警事件,确保管理人员及时掌握设备运行状态,以便在最短时间内采取纠正措施,提供最佳正常服务时间和It效率。

 

4.3 数据中心的数据安全措施

数据安全是企业业务系统持续运行的前提和保障,我院依照国家标准GB/t209882007《信息系统灾难恢复规范》对数据中心安全进行了统一规划,定制和实施了相关数据灾备策略和方案。针对我院信息系统的开发和使用现状,在确保数据中心在生产环境的存储系统按设计建成和正常运行的前提下,数据安全建设采取了分阶段走的实施方法,即由开始实现数据中心各应用系统数据的统一备份管理,再逐步建成功能完备的冗灾备份系统,确保数据中心设备安全和数据安全。

4.3.1 数据中心的数据备份方案

我院充分利用现有的BackupExec备份软件和光盘库资源搭建数据中心的备份系统,对应的存储数据备份方案拓扑图如图3。

建成的数据中心实现了我院数据资源集中存储、统一管理,对于数据中心的信息数据安全一期实施方案中,我们选用了BackupExec备份软件加光盘库系统的数据备份措施。由于此措施是利用现有软硬件资源不用购买新的备份软件,只需要为备份阵列新添几块硬盘就可以了。具体措施是对存储在IPSAN设备中的关键业务数据实施数据备份,把备份阵列的服务器与IX1500存放关键数据的逻辑卷进行关联,这样服务器就可以像拥有本地磁盘一样访问IX1500的存储资源。为备份管理服务器安装BackupExec备份软件的主模块和Agents介质代理模块两个插件;由备份服务器根据设定好的计划定期发起备份,服务器向IX1500的数据区发出读取控制指令,待备的数据通过局域网传输至备份服务器,然后备份到服务器的磁盘阵列中。为了不影响业务系统的正常运行,在制定备份计划时必须将备份操作安排在工作空闲时段进行,数据备份策略采取每周一次的完全备份和每天的增量备份相结合以保证数据备份的效率。对于数据恢复的操作也是一样,应用BackupExec软件通过备份服务器将数据从磁盘阵列中提取出来,再通过局域网将需要的数据恢复到IX1500指定存放数据的逻辑卷。

我院数据中心存储的电子扫描工程图、工程管理图片和专业培训流媒体资料等非结构化数据占了全部存储量的较大份额,这些不变化、不经常使用的数据存放在IX1500的硬盘里将增加存储成本和备份管理复杂性。为了便于在线检索这些宝贵的历史数据信息,同时又能达到长期数据备份的目的,利用信息数据分级存储管理技术我院建立了一个DVD-RAM光盘库二级存储系统,既作为磁盘容量的扩充,又能作为在线数据归档备份,同时解决了近线和离线存储问题。光盘库的引入解决了档案管理中存在的保管困难、查询不便、存储空间不足、资源无法共享等问题,使用光盘库可以方便在线调阅,即使光盘离线,光盘库软件的离线管理功能也可以方便地找到光盘。用光盘库作为IX1500硬盘的下一级设备,通过管理软件将硬盘中不变化、不经常使用的数据按指定的策略自动迁移到光盘库存储设备上,当需要使用这些数据时,分级存储系统会自动将这些数据从光盘库调回到硬盘上。利用光盘库进行在线数据归档备份,对于某些需要

归档的数据,可以将其存储到DVD-RAM盘上,将光盘匣从光盘库中取出,人工转移到另一地点离线保存实现异地容灾。

4.3.2 数据中心的数据备份方案

随着企业数据中心应用的不断扩大和重要性的提高,存储信息数据安全措施也将进一步加强,依照我院制定的数据中心安全统一规划,后期实施的数据安全措施将全面实现数据的容灾保护,以“实现数据的快速备份与恢复”的原则建设远程的数据灾备中心。

因为选用同品牌设备搭建存储和灾备系统更容易实现数据中心的统一管理和统一维护,根据生产数据中心的存储设备情况,在建设灾备中心时将同样部署一套IX1500设备作为灾备系统,利用IX1500存储设备之间IP远程复制的功能,实现数据从数据中心到灾备中心的远程备份,并在发生意外灾难时对数据进行快速恢复,确保关键业务的连续性。为了降低带宽占用,将生产环境中的IX1500设备的远程复制功能设置为支持基于数据增量策略的复制模式,使每次数据复制只将上一次复制后的变量数据复制到远程灾备中心,不影响数据中心的生产系统工作。在数据中心的硬件设备出现故障时,将灾备中心的IX1500自动升级为在线设备,保证了生产环境的业务系统能顺利获取数据信息而可靠运行,直到在线系统维修正常后,再通过反向数据复制,把灾备系统里的数据恢复到在线系统中,之后生产环境的存储系统升级为了在线设备,而灾备系统也恢复为近线工作状态。整个容灾系统的恢复时间目标rto和恢复点目标rpo的值很小,可使业务系统停业的时间降到最低。由于容灾复制链路是基于IP网络,可跨越任何距离,并可承载于现有的IP网络的链路上,既不需要铺设光纤链路,又不需要额外的存储协议转换设备,将会节约数据灾备建设的成本。

5 结束语

在我院数据中心存储系统平台的建设中,我们所选用的IPSAN存储架构的技术和设备,有效解决了业务数据集中存储、集中管理、数据整合的需求,为企业业务信息的互通提供了硬件基础平台;采用具有强大扩展性的H3C NeoceanIX1500作为长期的存储设备,能较好兼顾企业数据爆炸式增长对存储硬件设备平滑升级,以及有效保护了企业信息化建设中对前期存储设备的投资利用,使数据中心的存储架构在较长时间内能够持续、稳定的使用。分步实施的存储数据安全建设,实现了数据中心存储设备和冗灾设备的统一管理、统一制定灾备策略、统一维护等,这不仅起到有效保护数据的作用,而且极大的方便了数据管理和后期运维。

本文作者:张瑞祥 吴东辞 石悦淇 来源:网络
CIO之家 www.ciozj.com 微信公众号:imciow
    >>频道首页  >>网站首页   纠错  >>投诉
版权声明:CIO之家尊重行业规范,每篇文章都注明有明确的作者和来源;CIO之家的原创文章,请转载时务必注明文章作者和来源;
延伸阅读
也许感兴趣的
我们推荐的
主题最新
看看其它的