首页  ·  知识 ·  架构设计
采油企业数据仓库框架体系结构研究
王文铭 孙在冠 石二勇  收集    编辑:德仔   图片来源:网络
信息技术的发展与应用大大推动了采油企业工业自动化和管理现代化的进程,管理信息化在采油工业中得到了快速发展。我国绝大
  信息技术的发展与应用大大推动了采油企业工业自动化和管理现代化的进程,管理信息化在采油工业中得到了快速发展。我国绝大多数石油开采企业已经积累了大量的地质勘探数据和油气田生产业务数据,企业内的各级人员都希望能够快速、方便有效地从这些大量杂乱无章的数据中获取有用的信息,决策者希望能够利用现有数据指导油田的生产经营决策和发掘企业的管理潜力,这类业务的特点是需要大量的历史数据和汇总数据,他们不需要对数据进行修改,而是使用大量的随机查询,正是此类应用的存在,引发了石油开采企业建立数据仓库的迫切需求。因此,采油企业的信息系统必须以数据库为核心,在统一的数据库平台下,建立完善、合理的数据结构,组织油田生产管理所需的原始数据,利用石油天然气地质勘探、石油工程、钻井开采和计算机新技术,开发适合油田企业应用的各种功能处理软件,以满足油田不同层次和任务的管理与决策需求,并使其最大限度地发挥效益。

1 数据仓库概念和组成

    1.1 数据仓库概念

    世所公认的数据仓库之父William H.Inmon首先定义了数据仓库的概念,随后又给出了更为精确的定义:数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。

    随着时间的推移,数据仓库这一术语逐渐为世人所接受。简单地说,数据仓库就是独立于系统程序之外的数据管理中心提供集成化的、历史性的数据以利于企业决策,即数据仓库管理和存储着企业在分析、决策过程中所需要的较长时间的历史数据。Internet/Intranet技术的发展极大地推动了数据仓库应用的实施进程,使得石油开采行业运用数据仓库技术成为可能。首先,数据仓库可以以很低的成本分布在油田范围内的计算机网络上,从而减少了跨地区、跨作业区以及跨部门的数据复制量,即解决了油田开采、管理数据的重复存储问题;其次,可以对油田开发过程中得到的数据进行各种复杂而有效的分析,然后以统一的格式提交给终端用户。

    1.2 数据仓库的组成

    数据仓库是数据库技术的一种新的应用,它是用数据库管理系统来管理其中的数据,是数据存储的一种组织形式,是在原有关系型数据库基础上发展形成的但不同于数据库系统的组织结构形式。数据仓库的建立并不是要取代原有的数据库,而是在一个较全面、完善的信息应用的基础上,从企业现有的业务数据库中提取原始数据,按照主题分成不同的级,用于支持企业高层决策分析。

    从数据库技术的角度来看,数据仓库提供了多种数据源上的统一的数据平台,如图1所示。
 

图1 数据仓库结构组成


    (1)数据源。不仅包括各种常见的数据库,也包括各种文件数据、多媒体数据、#$%&文件、知识库、现有信息系统的数据、历史遗留的数据等,这些数据源既来自采油厂内部,也来自采油厂外部。

    (2)数据抽取/监视器。数据抽取部分负责从数据源中把数据转换成数据仓库使用的格式和数据模型,包括根据数据的特征进行离散数值数据与连续数值数据之间的相互转换、数据值的分组分类、数据项之间的计算组合等。数据监视器则负责自动监测数据源中数据的变化情况,并把这些变化传递给集成器。

    (3)数据集成。对进入数据仓库的数据进行净化、过滤、总结,或者与其他数据源的数据进行合并,再转到数据仓库中。为了把新的数据准确地集成到数据仓库中,需要对数据进行完整性、一致性、冗余性检查,还要考虑时间顺序和数据的变化等。
2 采油厂数据仓库体系结构

 

    2.1 采油厂数据仓库概念模型

    采油厂数据仓库应用系统是基于符合Internet网络技术标准的面向采油厂及其相关职能部门和协作单位、面向油田内部的信息处理和信息服务系统的集合,是一个利用信息技术、通信技术、计算机技术,有效地实现油藏生产勘探、油气田开发、油气钻井生产、企业经营管理等功能,在油田、采油厂、井队之间建立有机的信息服务、信息共享的系统集合。

    在此基础上,可以将采油厂数据仓库概念模型定义为3个逻辑层面:系统集成运行平台、数据资产中心管理平台和管理驾驶舱平台,如图2所示。
 

图2 采油厂数据仓库概念模型


    2.2 采油厂信息系统集成

    在油田多年的信息化建设过程中,各级部门和单位均开发、运行有各种应用软件,这些不同的专业应用软件通常不是在油田信息化建设的统一组织和统一规划下建立的,而是在不同的时期、由不同的部门分别开发运行的,这些专业应用软件绝大多数能够单独运行,在很大程度上改善了局部管理效率。但是,由于采用的硬件、软件分别来自不同的厂商,相互之间不能很好地合作,信息传递主要通过报表或软盘,而且数据、报表格式也不尽兼容,数据无法共享,用户界面也是五花八门,在对业务操作过程中,用户要么从一个系统转到另一个系统,要么重复输入大量的数据,结果导致工作效率低下、数据准确性差等一系列问题。更为重要的是,由于企业内部各系统之间、内部系统与外部环境之间的相互独立,不能实现信息的交流,难以完成系统间的动态交互和信息共享,导致数据的“部门所有制”,形成了所谓的“信息孤岛”,从而使得各级领导和管理人员不能方便、迅速地获得油田生产经营状况的准确数据,对领导层的决策无法提供有力的支持和帮助。

    因此,在油田信息化建设过程中,面临飞速发展的信息化技术,需要不断地进行跨专业、跨部门、跨流程的应用整合,通过新的石油开采工程技术、计算机应用技术、管理技术等为企业创造新的价值,实现新的应用和新旧系统的应用集成,组合已有应用系统,实现数据的同步和一致性,即实现企业应用集成(Enterprise Application Integration,EAI)。

    EAI就是利用先进的、开放的计算机技术,将原有的业务流程、应用软件、硬件和各种标准联合起来,在两个或更多的企业应用系统之间实现无缝集成,使它们像一个整体一样进行业务处理和信息共享,从而提高管理效率,为企业用户提供灵活的业务服务。

    石油开采行业的管理信息系统是一个复杂的应用系统,而且在多年的建设发展中使用了不同厂家生产的硬件、软件产品,以及不同的开发平台。将多平台、多系统互连技术集成,快速形成以数据仓库为基础的采油厂信息系统,实现互联、互通、互操作,是未来建设数字化采油厂的一个重要发展方向。

    在采油厂信息系统集成中应充分考虑建立分布式体系结构,在先进的客户机/服务器系统结构基础上,选择开放的硬件平台、操作系统和数据库平台,应用软件的设计也应考虑标准化和开放的原则,从而建立具有灵活性和扩展性的应用平台。

    因此,根据采油厂行业特点和计算机应用技术,可将采油厂信息系统集成分为如图3所示的4个层次:硬件平台集成、数据集成、应用系统集成、业务流程集成。
 

图3 系统集成层次


    2.2.1 硬件平台集成

    硬件平台集成即计算机网络系统的集成,不仅涉及到网络技术问题,也涉及到油田企业内部的管理问题,尤其是石油开采这种生产地域广泛的大型网络,从技术上讲,必然会涉及到不同厂家的网络设备和管理软件的互联,也会涉及到异构网络和异质网络系统的互联问题。

    采油厂网络系统是石油开采企业信息化建设的基础,在整个系统内传输、交换数据,通过集成把油田的各种网络系统连成一个整体,并通过网络进行资源共享和信息访问。

    Internet技术的飞速发展是油田企业信息系统集成得以成功实施的重要前提,系统集成的主要目标是实现以集中的网络资源管理、数据资源管理为核心的采油厂生产经营管理统一综合应用,即实现统一的网络管理、资源管理、技术、安全保障、业务管理和用户服务管理。

    2.2.2 数据集成

    数据集成的目的是运用一定的技术手段将采油厂现有系统中的数据按一定的规则组织成为一个整体,对数据进行标识并编成目录,使油田用户能够有效地对数据进行操作。

    数据集成是信息系统集成的核心,其处理对象主要是现有系统中各种异构数据库中的数据,包括结构化数据、非结构化数据、油气资源开采和管理知识、外部数据等,其基本要求是统一数据接口,实现异构数据库访问,增强数据的实用性、完整性、准确性和动态更新能力等。

    数据集成还包括将历史数据批量导入到新系统中和对现有系统中的批量、实时数据进行处理。数据的集成需要跨越企业资源计划(ERP)、客户关系管理(CRM)、供应链管理(SCM)等多个应用系统。

    2.2.3 应用系统集成

    应用集成是采油厂信息系统建设、也是数据仓库应用系统的核心,应用集成以应用软件、应用服务为基础,以功能集成和信息集成为目标,要求能在异构平台、异构环境、异构网络中实现油气田资源数据交换和部分采油工程及管理业务的自动化处理,从而实现采油厂的信息应用服务。

    采油厂应用系统主要包括厂内的生产经营管理、办公自动化系统、各职能部门、协作部门通过网络互联实现的信息共享、实时通信系统、领导决策服务系统、信息发布系统和采油厂信息门户等。

    2.2.4 业务流程集成

    针对油藏开采工程的特殊性,依据其工程特点,在各种业务系统中定义、授权和管理各种业务信息的交换,制定其工作流程,使其实现图形化,并使采油生产业务流程与信息系统的应用逻辑分开,以便改进操作,减少成本,提高信息系统的响应速度,实现采油生产业务管理的分布式访问。

    业务流程集成不仅仅是在采油生产管理的各个过程之间开发各种接口,还包括业务管理、进程模拟以及综合任务、流程、组织和进出信息的工作流,是在数据集成的基础上,在企业内部全面实现人员、技术、经营、管理的综合集成,在企业内部各部门之间既实现上下级之间的纵向集成,又实现各职能部门之间的横向集成。

    2.3 数据资产管理中心

    现代化的采油厂建设数据仓库、实现信息化、数字化的核心就是要建立数据资产管理中心,因为数据是采油厂一切生产经营决策的依据。在油田开发与经营过程中,所需信息种类是多种多样的,包括数据、图表、文字、知识等各种信息,可以统称为油田开发与经营信息,亦即已经被加工为特定形式的、经过解释的、对油田开发和经营行为或决策具有明显作用或显著价值的数据。

    信息已经成为油田开发过程中的一项重要资源,然而信息来自数据,数据是信息的载体,因此数据资产管理中心就是把信息作为一种资产进行管理,正是油田开发与生产管理、技术管理、经济环境管理等过程中产生的直接或间接信息的管理中心,对采油厂各项生产经营活动中所产生的各类数据、信息、知识以资产的形式进行科学的管理,为油气田勘探、开发、生产、储运销售和企业管理等活动提供及时、全面的信息与知识服务支持。

    2.4 管理驾驶舱

    石油开采企业与一般行业的企业相比,具有地域广、管理复杂且全面的特点,不仅对传统的财务管理、石油生产、油气储运、物资供应等方面的管理有较高的要求,而且对设备维护、质量管理、项目管理、人力资源管理等方面的要求也非常高。

    管理驾驶舱就像飞机上的仪表系统,是一组动态的企业经营绩效指标,这些指标是直接指向采油厂生产经营目标和阶段性问题的、动态支持企业当前的管理重点的、系统化的指标。

    通过管理驾驶舱,可以整合采油厂的内部资源,实现油田企业内部物流、资金流、信息流的紧密集成,构建采油厂的决策支持系统。

    实际上,采油厂管理驾驶舱就是一个生产经营信息室和决策管理室,在数据仓库的基础上,根据管理者决策的需要,把信息以其能接收的方式进行归纳整理,通过采油厂外部相关信息和采油厂内部详细的指标体系,实时掌握采油厂的运行环境和运行状态,通过建立专家智能库和网上专家协同工作的方式,深层次挖掘,分析当前和历史的生产业务数据以及相关环境的数据,自动获取其中有用的决策信息,使采油厂领导层更好地把握油藏开采和生产经营活动,能够很方便地找到所存在的问题,并据此制定出更加快速、准确、合理的决策,实时指挥采油厂的生产经营运作。
3 采油厂数据仓库的实施

 

    采油厂信息化建设是一个艰巨的过程,数据仓库作为采油厂内部信息与知识共享的平台,不是简单的拿来,而是长期建设的过程,需要结合企业实际,制定严密的计划,注意到每一个细节,才能保证按期实现目标。

    采油厂数据仓库的实施可以大致分为3部分:实施过程的阶段划分,实施策略与技术路线的制定,关键技术措施与具体实现方法。

    (1)实施阶段划分。按传统的信息系统实施过程来划分,可分为可行性研究、初步设计、详细设计、系统维护与评价。由于数据仓库是信息系统应用发展的高级阶段,故其实施过程的阶段划分与传统的管理信息系统阶段理论大致相当,其区别只是各阶段的内涵有所侧重。数据仓库技术不再意味着简单的数据存储和管理,而是一种解决方案,是对原始数据进行各种处理并转换为有用信息的处理过程。因此,笔者把数据仓库的实施阶段定义为数据仓库的可行性研究、初步设计、详细设计、应用实施、应用评价阶段。

    (2)实施技术路线。数据仓库是为企业管理的决策者提供决策支持服务的计算机应用系统,从物理结构上说,它可以看作是一个单一、稳定的信息库,同时要配备适当的工具为企业提供有价值的信息,从而使企业用户可以更有效地工作。因此,建立数据仓库包括两个重要的阶段:一是构造数据仓库的物理过程,二是提供丰富的前端工具对数据仓库中的数据进行分析。

    (3)关键技术措施。采油厂数据仓库实施过程中的关键技术措施主要是指数据仓库的关键技术构成及其实现方法的要素集合。在采油厂数据仓库应用中,包括了石油工程关键技术、信息工程关键技术和企业管理关键技术。

    (4)实施策略。采油厂数据仓库的应用建设是一项长期、复杂、艰巨的工作,其实现难点主要集中在油藏地质和生产经营数据的收集、数据的存储和管理、联机分析处理和决策支持开发与应用环境等方面。

    首先,应重视基础数据库的建设,即重视各类在线事务处理(OLTP)数据库的建设,不断提高数据库的规模和质量,只有在大量详实的OLTP数据的基础上,才能真正建立起数据仓库。

    其次,建立分析主题,根据采油厂的决策需求建立不同的分析主题,每一个主题基本对应一个宏观分析领域。未来信息处理技术的发展趋势是,以计算机网络为依据,数据位于现代数据处理的中心,数据是稳定的,而经常变化的只是数据处理的过程,因此,面向主题建立数据库并建立不同的分析主题,才能更好地为油田生产服务,也是立足长远的关键。

    再次,重视在线分析处理(OLAP)工具的开发。数据仓库提供了油田生产经营决策所需要的大量基础数据,而OLAP则是在这些充分可靠的数据基础上,构建多维数据模型,运用多维分析技术,针对特定问题从不同角度对数据进行深入分析和加工,实现分析方法和数据结构的分离。

4 结束语

    采油企业实现信息化建设是一场革命,其目的是为了提高油田企业管理水平、促进油田管理现代化、转换经营机制、建立现代企业制度、有效降低石油开采成本、加快技术进步、增强市场竞争力、提高油田经济效益,同时也是为了适应快速变化的环境,提高油田经营效益和发展能力,运用信息技术再造企业的变革过程,是油田企业在基础设施、技术应用、结构调整、资源拓展、管理制度等方面向信息化转变的过程。

    通过采油厂数据仓库应用的建设,充分利用油藏开采技术、自动化技术、管理技术、计算机信息技术等将采油厂的油藏研究、生产运行、经营管理等内容有机地整合在一起,最大限度地发挥采油厂各类资源的使用效果,提高采油生产效率,降低生产成本,从而为油藏勘探、开发、生产、储运销售和企业管理等活动提供及时、全面的信息与知识服务支持,进而全面提升油田开发、生产运行和经营管理及决策水平,提高采油厂的可持续发展能力和核心竞争能力。
 

本文作者:王文铭 孙在冠 石二勇 来源:网络收集
CIO之家 www.ciozj.com 微信公众号:imciow
    >>频道首页  >>网站首页   纠错  >>投诉
版权声明:CIO之家尊重行业规范,每篇文章都注明有明确的作者和来源;CIO之家的原创文章,请转载时务必注明文章作者和来源;
延伸阅读
也许感兴趣的
我们推荐的
主题最新
看看其它的