数据治理是所有数据应用的根基,数据治理做的不好直接影响所有数据应用的价值。数据应用做得越深入,所需数据就会更多,对数据质量也会有更高的要求。而企业的数据治理做得越好,数据的质量也就越高。那么应该如何正确治理数据呢?

为什么说数据治理难?

1、存在数据孤岛

在大多数企业中,不同的部门和业务部门使用不同的应用程序并将信息存储在单独的数据库中,这些单独的数据库可能包含类似的信息,但数据从一个数据库到另一个数据库并不总是一致的。

2、不断增长的数据存储

管理大数据也很困难,因为所涉及的数据规模庞大,而且数据量不断增大。对于只有客户较少的公司来说,修复客户记录相当容易。在这种情况下,有人可以查看所涉及的记录并修复它们。

3、数据和架构复杂性

企业数据不仅存储在不同的孤岛中并且不断增长,如今的数据也非常复杂。企业通常具有结构化数据(驻留在数据库中的数据)和非结构化数据(包含在文本文档、图像、视频、声音文件、演示文稿等中的数据),并且数据存在于各种不同的格式中。单个企业可能在其系统上拥有数千个应用程序,并且每个应用程序可以读取和写入许多不同的数据库。因此,简单地编目组织在其存储系统中具有哪些类型的数据可能是一项非常困难的工作。

4、组织架构与部门隔阂带来的配合

部分组织在数据治理的过程中速度过慢,成效不好,其中一个很重要的原因是权责、部门配合等方面存在问题。很多情况下,生产数据、使用数据、分析数据的工作人员分布在不同的职能线与部门,角色不同,立场也不同,这些客观存在的影响因素都会影响整个数据治理的最终结果。

做好数据治理的8个关键步骤

1.整理业务规则,统一数据定义

在企业数字化转型过程中,对数据的共同理解与解释至关重要。数据质量问题通常是指同一数据集被解释为不同事物,或者不同数据集被解释为相同事物。无论是业务还是技术元数据,根据业务属性明确数据定义对于提高数据质量相当重要。企业可令数据治理团队运用一定的数据管理应用程序完成业务规则的梳理和数据定义的统一。

2.确认影响业务的关键数据指标

在商业场景中,业务需求、业务流程、业务绩效等是关键数据指标。为了衡量一款产品及服务是否能够满足市场需求,必须采用一定的企业绩效指标。不完整、不准确的数据可能导致客户投诉,因此客户流失率、KPI等数据指标的梳理及确定至关重要。

3.分析关键业务的数据质量

在确定了企业内部影响业务的关键数据指标后,数据治理团队还需要了解企业内支持关键业务流程的系统及程序的数据质量。在梳理过程中,数据治理团队可以采用数据分析工具预测数据分析模型,在较短时间内了解数据质量。也可以创建针对数据存储库运行的脚本,解决高级别的跨应用数据分析需求。

4.创建数据自动化管理调控体系

数据治理团队应建立自动化管理体系,把关数据治理到数据应用的整个流程,在绩效考核、分析决策、基础数据质量之间建立明确的自动化反馈机制,以业务结果反馈数据治理效果。

5.检测数据质量对业务的影响程度

凭借专业的数据质量分析工具,数据治理团队能够测试数据质量,识别异常数据,以便开展有针对性的数据处理工作。另外,数据质量的检测应该是长期存在于数据应用过程中的。一旦企业决定进行数字化转型,就必须定期评估数据质量对业务结果的影响,并且随着新业务场景的出现,对数据质量评估的重点和方法作出相应调整。

6.听取、沟通业务需求,有针对性地治理数据

数据治理团队在对数据进行清洗治理时,首先不要妄图通过数据治理立即解决所有问题,而是应该认真听取业务部门对数据的需求,通过有效沟通,确定行动计划,探索数据内部潜在的问题,为分析决策提供支撑。

7.创建数据质量动态感知台,监控数据治理进程

数据治理团队一般会通过定期会议或者小组讨论等形式同步各自的数据处理进度。但是定期的会议汇报无法随时了解数据治理进程,因此数据治理团队可以创建数据质量动态感知台。数据质量动态感知台可以根据KPI和关键业务操作流程制定数据质量的绩效。

8.建立学习—分享—培训机制

数据治理团队中各成员分工不同,所处理的数据模块也不相同,每个人遇到的数据质量问题都不同,而个人解决起来困难重重。因此团队负责人需要建立一套学习—分享—培训机制,团队成员可以将发现的数据问题及时共享给团队其他成员,一起讨论数据治理的解决措施,帮助团队成员提升自身能力。