http://www.dataguru.cn/portal.php?mod=view&aid=3272
在数据仓库的数据模型设计过程中,经常会遇到这样的需求:
1. 数据量比较大;
2. 表中的部分字段会被update,如用户的地址,产品的描述信息,订单的状态等等;
3. 需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态,
比如,查看某一个用户在过去某一段时间内,更新过几次等等;
4. 变化的比例和频率不是很大,比如,总共有1000万的会员,每天新增和发生变化的有10万左右;
5. 如果对这边表每天都保留一份全量,那么每次全量中会保存很多不变的信息,对存储是极大的浪费;
拉链历史表,既能满足反应数据的历史状态,又可以最大程度的节省存储;
举个简单例子,比如有一张订单表,6月20号有3条记录:
到6月21日,表中有5条记录:
到6月22日,表中有6条记录:
数据仓库中对该表的保留方法:
1. 只保留一份全量,则数据和6月22日的记录一样,如果需要查看6月21日订单001的状态,则无法满足;
2. 每天都保留一份全量,则数据仓库中的该表共有14条记录,但好多记录都是重复保存,没有任务变化,如订单002,004,数据量大了,会造成很大的存储浪费;
如果在数据仓库中设计成历史拉链表保存该表,则会有下面这样一张表:
说明:
1. dw_begin_date表示该条记录的生命周期开始时间,dw_end_date表示该条记录的生命周期结束时间;
2. dw_end_date = '9999-12-31'表示该条记录目前处于有效状态;
3. 如果查询当前所有有效的记录,则select * from order_his where dw_end_date = '9999-12-31'
4. 如果查询2012-06-21的历史快照,则select * from order_his where dw_begin_date <= '2012-06-21' and end_date >= '2012-06-21',这条语句会查询到以下记录:
和源表在6月21日的记录完全一致:
可以看出,这样的历史拉链表,既能满足对历史数据的需求,又能很大程度的节省存储资源;
关于这种历史拉链表的etl刷新策略和方法,下次再谈吧。。。
分享到:
相关推荐
原始表用于存储用户的原始信息,而拉链表用于存储用户信息的历史变化记录。 在创建拉链表时,我们需要定义拉链表的结构,包括用户 ID、用户名、用户编号、电话号码、生效日期和失效日期等字段。生效日期和失效日期...
拉链表.sql
拉链表的使用
在数据分析中有时会需要维护一些历史状态,比如订单状态变化,评分变化,为了保存下来这些状态变化的路径,可以同过拉链表实现 -- 使用场景 1、数据量比计较大,但业务要求每次需要查询全量历史,每天存储一份全量...
拉链表重复跑数据错误解决
Clickhouse是一个用于联机分析处理(OLAP)的列式数据库管理系统(columnar DBMS)。 传统数据库在数据大小比较小,索引大小适合内存,数据缓存命中率足够高的情形下能正常提供服务。但残酷的是,这种理想情形最终会...
拉链表更新方式二(exists) --优先.sql
拉链表案例 - 完整.zip
拉链表_行转列_row.sql
深入讲解拉链表,还怕面试官问?.docx
行业分类-设备装置-一种金属拉链表面切削机
用java写的拉链法实现哈希表的建立,应用到类似于电话本查询的程序里,课程设计时候做的,所以不是很完美
合工大数据结构C++实验报告拉链法哈希表查找算法
新颖拉链彩色简历Word模板表.doc
易语言源码易语言拉链法哈希表源码.rar 易语言源码易语言拉链法哈希表源码.rar 易语言源码易语言拉链法哈希表源码.rar 易语言源码易语言拉链法哈希表源码.rar 易语言源码易语言拉链法哈希表源码.rar 易语言源码...
介绍数据表的拉链示例。
拉链hash是最常用有最有效的hash表,本历程是外联hash表。