`

数仓分层简述

 
阅读更多
1, 第一层,ODS层,运营数据层:来源:业务数据库OLTP,处理:去重、去噪、去空、命名,产出:数仓的基础数据;

2, 第二层,DWD层,数仓细节层:来源:ODS层数据表,处理:数据清洗和整合,产出:事实表和维度表;

3, 第三层,DWS层,数仓服务层(公共层):来源:DWD层数据表,处理:维度退化,产出:指标级别宽表;

4, 第四层,DIM层,维度层:来源:DWS层数据表,处理:多维度整理数据,产出:用于多个维度的快速查找、分组和排序等;

5, 第五层A,TDM层,标签层:来源:DWS层和DIM层,处理:全局唯一ID打通,标签化(属性、统计、算法、关联标签),产出:用户标签等;

6, 第五层B,DM层,数据集市层:来源:DWS层和DIM层,处理:主题域数据聚合,产出:部门实体报表和数据分析;

7, 第六层,ADS层,应用服务层:来源:TDM层和DM层,处理:业务直接可用的数据,产出:存储在MySQL、Redis、ES中,业务可直接进行数据可视化展示。
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics