首页  ·  知识 ·  大数据
数据仓库分层你不得不清楚
CIO之家的朋友  简书  实践应用  编辑:海山二   图片来源:网络
ODS层(OperationDataStore):原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理。(2)DWD层(DataWarehouseDetail):明细数据层,结构和粒度与原始表保持一致,对O
一、数据仓库分几层?每层做什么?


(1)ODS层(Operation Data Store):原始数据层,存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理。
(2)DWD层(Data Warehouse Detail):明细数据层,结构和粒度与原始表保持一致,对ODS层数据进行清洗(去除空值,脏数据,超过极限范围的数据)。
(3)DWS层(Data Warehouse Service):服务数据层,以DWD为基础,进行轻度汇总。
(4)ADS层(Application Data Store):数据应用层,为各种统计报表提供数据

二、数据仓库为什么要分层?

(1)把复杂问题简单化
将一个复杂的任务分解成多个步骤来完成,每一层只处理单一的步骤,比较简单、并且方便定位问题。

(2)减少重复开发
规范数据分层,通过中间层数据,能够减少极大的重复计算,增加一次计算结果的复用性。

(3)隔离原始数据
不论是数据的异常还是数据的敏感性,使真实数据与统计数据解耦开。

三、数据仓库层级关系示例图





本文作者:CIO之家的朋友 来源:简书
CIO之家 www.ciozj.com 微信公众号:imciow
    >>频道首页  >>网站首页   纠错  >>投诉
版权声明:CIO之家尊重行业规范,每篇文章都注明有明确的作者和来源;CIO之家的原创文章,请转载时务必注明文章作者和来源;
延伸阅读
也许感兴趣的
我们推荐的
主题最新
看看其它的