许多企业的管理系统相对独立,自成体系,这就造成各系统之间存在数据孤岛,数据库未形成合力。同时,由于多条产品线和业务线,各个业务单元之间可能存在重复的功能模块,造成响应低效,企业亟需数字化转型。

数据中台是企业数字化转型的最佳落地实践,能够对大规模数据进行聚合、存储、开发,同时统一标准和口径,形成企业大数据资产层,在这基础上,以数据API、资产目录、数据分析、数据探索、服务治理等形式提供高效数据服务。

企业通过搭建数据中台,统一了数据和服务,使技术、业务和数据深度融合,并赋能企业经营分析、运营归因、客户服务、产品服务和创新驱动,从而提效减负。

那么,企业如何搭建数据中台?

数据中台是一种以数据为核心的新架构,数据因业务目标驱动而成,源于业务,服务于业务,通过松耦合的数据服务带来业务的复用,因此数据中台架构设计需要符合业务的顶层设计。企业建设数据中台是一场自上而下、逐层推进的变革,通过对业务进行全维度调研和分析,抽象出企业所需的业务元素,梳理出商业模式和核心业务场景,并针对业务场景的痛点输出功能需求,定义出系统能力。

数据中台建设从“顶层设计、试点验证、能力扩大、提升治理”四个流程逐步推进,形成建设路径。搭建前,企业管理层需以顶层设计着手,将中台纳入企业战略,明确搭建目标,评估优先事项,进行相关规划,并从技术、产品、业务、组织和驱动模式上进行匹配和投入,分步实施;搭建时,以单个具体业务作为切入点进行试点验证,明确业务目标和范围,进行初步业务重塑,减少交付压力;待试点得到有效验证后,再将建设范围逐渐扩大到全业务面,基于经营情况持续优化整合,沉淀中台建设经验和方法论,重塑企业价值链和IT架构;过程中,组织结构不断优化,逐渐形成流程规范,提升中台效率,进一步重构企业数字化生态。

数据中台规划思路围绕“存、管、治、用”,为实现这些能力,我们从四个目标进行建设,分别为技术体系建设、资产规范建设、价值场景建设、数据运营建设。

技术体系建设

技术体系建设是建设数据中台的技术基础,这里解决“存、管”的问题,为后面的“治、用”提供基础工具。涉及大数据基础平台、数据治理平台、离线计算平台、实时计算平台、数据统一上报平台、机器学习平台、运维监控平台、调度任务平台等多个技术平台建设。其中大数据基础平台是数据中台的底层核心,提供数据同步服务、多维分析服务、算法挖掘服务、数据开放服务、可视化服务、数据画像服务等能力。数据治理平台提供元数据服务、数据治理服务和指标监控服务等能力。技术体系建设主要解决数据集成、存储、开发、治理等核心技术组件问题。

数据集成:数据规模、类型和质量决定大数据价值,在实际中需要尽可能汇集多方多维的数据,以保证数据分析和挖掘的成效。大数据平台通过离线集成、实时集成、API接入、网络爬虫、埋点等技术,将不同来源的异构数据汇聚到数据仓库中。对于不同类型的数据采用不同的接入方式,结构化数据采用全量或增量方式,非结构化数据先进行结构化处理后再存储,半结构化数据则根据数据结构特点采用相应方式。

数据存储:不同结构的数据需要不同存储方式,多元异构的海量数据存储有高吞吐、可扩展、高性能、高分布式、高复杂等要求。基于Hadoop的分布式存储和计算框架支持海量数据的存储和处理;Oracle、Mysql、SQLServer等关系型数据库可用于存储结构化的主业务数据;HDFS具有高吞吐数据读取和写入能力,适合图片、音频、视频等非结构化大数据存储。

数据开发:包括四个层次,分别为ODS(Operational Data Store)操作数据层、DWD(Data Warehouse Detail)明细数据层、DWS(Data Warehouse Service)服务数据层、ADS(Application Data Store)应用数据层。ODS直接对接各终端各业务系统产生的数据,将数据结构化后汇聚成生态数据湖,实现了数据融通,打破企业数据孤岛。经过DWD和DWS进行数据加工和数据建模,使业务数据化,提高数据易用性和复用性。数据加工生成的指标数据将存储在ADS中,提供给业务和应用场景使用。这四个层次依次递进,各层次之间高内聚、低耦合,基础数据模型及算法能够被重复使用,因此,不同业务场景可以在通用数据服务的基础上按需叠加技术组件,减少重复开发。

数据治理:数据治理是形成企业数据资产的关键,涉及数据标准化、元数据管理、数据质量控制、数据安全等。数据标准化定义业务、开发规范和管理信息,统一数据口径,使企业数据模型能够在复杂环境中保持一致性和规范性。元数据是重要的数据资产,反映数据的交易、事件、对象和关系,对元数据有效管理可以更好地监管数据生命周期、降低管理成本、追溯数据价值。数据标准化和元数据管理有助于数据质量的提高与管控。数据治理涉及数据安全建设,通过数据权限设置和数据加密措施保证数据安全性。对于数据治理工作的规划和实施,企业需要自上而下指导、自下而上推进,组织、制度流程和平台系统共同提供保障。

资产规范建设

没有经过处理的业务数据不能称之为企业数据资产,只有经过数据中台体系化建设,根据业务划分出主题域,进行统一规范存储,建设成数据模型,形成数据标准,为业务赋能和实现决策分析能力才能称作数据资产。

技术体系建设为企业数据资产建设奠定基础,技术平台建设内容属于数据中台的工具平台,这些平台提供了快捷方便的数据全生命周期的处理工具,沉淀出企业数据资产层,同时数据开发和数据治理等技术组件为资产规范建设提供了支撑。

资产规范建设包含两部分,一是数据资产建设,二是规范体系建设,围绕“管、治”进行建设。

数据资产建设

在数据资产建设中,数据模型是实现数据资产化的关键。数据模型有利于内部掌握系统建设的全景视图;有利于各业务系统与数据库建立关联,促进源数据高效整合和集成;基于数据模型驱动的数据映射,可以实现数据之间的有效关联,比如通过Data-mapping技术,可以识别和定义不同系统中的同一用户,有助于构建用户标签和客户全景视图。

数据建模要求熟悉业务流程和数据应用场景,分别对业务过程建模、业务对象建模、应用场景建模。数据模型能够根据前台业务需求进行扩展,按功能可以分为数据分析模型、数据算法模型。

数据分析模型的搭建基于数据开发技术组件,通过ODS、DWD、DWS、ADS四个层级,将企业全域业务数据梳理出不同的主题域,并存储起来,为上层产品应用按需供给。典型的数据分析模型有用户留存分析、AARRR模型分析、转化漏斗分析、商品分析、交易分析等。

数据算法模型从数据应用场景出发,围绕企业营销运营等场景进行标准化算法建模,这些模型通过分析和挖掘用户数据,匹配出关联商品,实现个性化商品推荐、精准营销、风险预测等能力。

规范体系建设

规范体系建设重在“治”,通过数据治理提高数据质量,使数据价值能够更好地体现和应用,为数据资产的管理提供保障,确保数据中台有序运行。数据集成、数据治理、数据标准化、数据安全、数据开放服务、平台运维等都属于规范体系建设范畴。

数据集成:数据来源不同,集成规范需要考虑存储架构、集成方式、接口方式、集成周期等。

数据治理:涵盖元数据管理、数据安全管理、数据资产管理、数据标准管理、数据质量管理、数据模型管理等。

数据标准化:关联元数据,统一指标定义、计算逻辑和描述语言,同时符合国家标准、行业标准、企业标准和地方标准。

数据安全:从数据完整性、保密性、备份恢复等进行安全规范,记录数据使用的认证、授权、访问和审计等过程,设立数据加密、脱敏、模糊化处理、账号监控等数据安全策略。

数据开放服务:规范数据开放程度、开放形式、服务形式、开放技术等。

平台运维:从配置、监控报警、运维操作等方面进行规范,更好地支撑个性化需求。

数据资产化是从数据集成、处理到利用并产生价值的过程,通过对数据进行资产规范建设,使数据价值能够被挖掘,有效应用于业务当中。

价值场景建设

在数据资产化的基础上,数据中台能够为企业提供深度融合数据与业务场景的数据产品与服务,使数据真正被“用”起来,如经营分析中心、实时分析数据大屏、CTR预测平台、舆情分析系统、CDP智能营销等,实现数据价值化。

数据中台打造企业经营分析中心,结合全价值链运营分析体系和全生命周期数据管理,使生产、营销、财务、人力等各个环节能够形成相互关联的整体和业务流程,并通过各系统的数据打通、整合、分析、挖掘,实现各环节的运营分析,形成BI报表,帮助企业管理者更好地发现和解决问题,进一步实现业务重组和流程再造,不断促进企业改进不足、提升价值。

实时分析数据大屏具有实时数据分析、可视化展示、信息推送等功能。通过对数据信息进行多维、自主分析,并将分析结果可视化呈现出来,使使用者能够更直观、快捷地根据数据指标,合理调度配置资源进行事件决策。线下门店的导购场景常结合AI人脸识别和数据大屏应用,提高门店的客流获取、销售转化等。

CTR(Click-Through Rate)预测平台被广泛应用于线上竞价广告,亚马逊、YouTube、今日头条等涉及到个性化推荐的系统都应用了CTR,它是竞价广告的核心技术之一,同时也是衡量流量的关键指标。目前,基于深度学习的CTR预测算法,通过用户特征、商品特征、用户-商品匹配特征等进行模型训练,能够评估出一个用户对一个商品的潜在点击率和点击后的转化率,这有助于广告主提高流量、增加广告收入。

舆情分析系统能够实现突发事件等各类舆论事件的数据监测和分析预警。系统自动采集互联网信息,并实时监测出舆情关注的主题信息,通过对外部数据的采集、分析、挖掘,形成预测系数,基于舆情预警指标体系,系统可以自动判定出目前舆情的警情等级,帮助公关部门及时作出应急响应。

CDP(Customer Data Platform)智能营销借助身份识别手段,打通和整合用户全渠道数据并统一到视图里,用户交易数据和各个触点的行为数据积累下来,形成了消费者数据中心CDP,使企业能够基于人货场关系结构搭建品牌标签体系、掌握客户所处生命周期阶段以及客户全生命周期价值。并通过精细化运营工具,精准定向人群自动智能推荐商品及服务,实现千人千面,提升营销效率和优化客户体验。

数据运营建设

数据中台为企业数字化转型赋能,以数据驱动业务,实现数据价值,帮助企业转向经营管理数字化和用户运营智慧化,这些都需要建立在数据运营的基础之上。数据运营通过数据分析、挖掘、预测、机器学习、标签等工具去推动业务优化和共享服务能力,数据分析方法也推动着数据中台的能力迭代和演进,这里从AARRR模型、门店健康模型、A/B test等数据分析方法去建设数据运营。

数据运营依赖于数据分析模型和算法运用,推动企业从“存量”转向“增量”。以用户增长理念提炼运营核心指标体系——AARRR模型,从获客(Acquisition)、活跃(Activation)、留存(Retention)、收入(Revenue)、传播(Refer)形成用户全生命周期的闭环模式,根据AARRR模型,能够准确反映出产品所处生命周期和对应周期的运营重点。

在门店管理场景中,门店健康模型结合AARRR模型、五力模型和门店诊断模型,以数据指标化诊断门店经营状况。五力模型分别为留客力、拓客力、服务力、管控力以及组织力,门店诊断模型涉及顾客、财务、产品、体验和团队等。三种模型可以对客户健康、客户体验、团队健康、产品、财务健康等维度进行门店健康标准评估。

数据中台实现全域营销,A/B test通过自定义产品、营销活动、推广人群等不同方案,使A/B对照组的能力集成在全链路自动化营销的流程中,这种策略验证,使运营人员能够根据测试数据进行迭代分析,不断优化出更好的营销策略和营销执行方案,提高营销效果。

数据运营是发现问题、分析问题、解决问题的过程,数据运营建设支撑企业业务往精细化方向发展,使企业经营者能够分析和定位出经营问题,并快速提出解决方案,促进业务正向增长。

工欲善其事,必先利其器。数据中台是企业数字化转型的利器,通过全面建设技术体系、资产规范、价值场景、数据运营,围绕“存、管、治、用”,实现了数据资产化和数据价值化。数据中台使企业内外部数据融合贯通,促进品牌有效连接用户,提升经营效率,为企业创造价值。

作者:WakeData惟客数据
链接:https://www.jianshu.com/p/b891d684ea7e
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。