数据的生产就像淘金,生产的步骤繁琐还需消耗大量的计算资源。而数据的多样性和差异性使得数据生产不得不不断的迭代处理逻辑, 分层数仓的设计简化了单层数据模型的设计,但增加了额外的计算资源消耗,当出现数据质量问题时更是质控者的噩梦。梳理清楚数据的来源、经过那些处理步骤、数据间存在那些引用和依赖的关系,这些信息归纳起来就是数据的血缘关系。而SQL强大的描述能力被广泛的应用在各种数据工具,分析SQL的AST是获取数据血缘关系的一个重要来源。个人开发了一个分析SQL获取数据血缘关系的小工具:sqllineage.com/demo
数据血缘关系在数据管理,数据追溯,性能优化,增量数据生产方面都能提供价值。
以SQL最简单的优化规则列裁剪为例,列裁剪就是对于没有用到的列就没必要读取已减少IO的消耗。
规则非常简单,但对于特定场景下,特别是分层数仓的设计的数据生产效率有明显的提升。ETL采集的原始数据并不是直接为应用提供服务,每个数据分层负责特定的功能,每个数据层都尽可能的保留了数据信息的同时对特定的数据进行了加工。后续的数据层只需要知道之前数据层的元数据定义,即可完成数据生产。 当需要提供实时需求较高的数据服务时,通过列裁剪规则,标记每个数据层无需访问的数据字段,就可以提高数据生产的效率,而这个过程可以是自动的,无需人工整理。
使用点击列裁剪按钮“⊗” 可以在关系图中标记可裁剪的的数据列(标记为红色⊗)。并导出优化后的SQL(功能待完善)
目前提供的功能还非常简单,由于是利用个人业余时间,时间仓促,不少功能还有待完善,欢迎提出宝贵的改进意见。平时工作较忙,请勿电话,但非常欢迎邮件和微信留言。
相关推荐
通过解析sql语句获取表血缘关系
com.microsoft.sqlserver.jdbc.SQLServerException: 只进结果集不支持请求的操作 解决方案
针对驱动com.microsoft.sqlserver.jdbc.SQLServerDriver所需的三个jar包。
// 设置元数据服务 Delegate.getDelegate().setMetaColumnService(new IMetaColumnService() { @Override public List<String> queryMetaColumn(String dbName, String tableName) { return Collections.empty...
基于gsp的sql解析工具,能够获取表血缘关系及表字段关系,以及sql类型
使用Excel和SQL进行数据分析 1、快速入门 数据分析概念 数据分析价值和前景 2、Excel数据采集与处理 认识Excel数据 Excel导⼊数据 Excel常⽤操作 Excel函数 Excel数据透视表 Excel图表 3、SQL 数据库概述 ...
5.sql.server.2005.数据.添加.删除.修改 5.sql.server.2005.数据.添加.删除.修改
SQL数据操作基础(初级) 4.htmlSQL数据操作基础(初级) 4.htmlSQL数据操作基础(初级) 4.htmlSQL数据操作基础(初级) 4.htmlSQL数据操作基础(初级) 4.htmlSQL数据操作基础(初级) 4.htmlSQL数据操作基础(初级) 4.htmlSQL...
SQL数据操作基础(初级) 2.htmlSQL数据操作基础(初级) 2.htmlSQL数据操作基础(初级) 2.htmlSQL数据操作基础(初级) 2.htmlSQL数据操作基础(初级) 2.htmlSQL数据操作基础(初级) 2.htmlSQL数据操作基础(初级) 2.htmlSQL...
SqlQQ项目2.新增QQ数据.sql,SqlQQ项目2.新增QQ数据.sql SqlQQ项目2.新增QQ数据.sql,SqlQQ项目2.新增QQ数据.sql SqlQQ项目2.新增QQ数据.sql
8.sql.server.2005.对数据进行统计 8.sql.server.2005.对数据进行统计
sqlserver驱动包 jdbc驱动 sqljdbc.jar sqljdbc4.jar jdbc连接sqlserver数据库驱动, sqljdbc.jar和sqljdbc4.jar均有
SQL语法词法分析 SQL表级血缘 SQL字段级别血缘 SQL函数血缘 SQL编译器
1、正常安拆任一版本的SQL Server 2005(最好安拆企业版)。 2、安拆到SqlServer服务的时辰提示启动服务得利(提示重试的时辰),那边就是环节啦,下载本文的两个附件,里面是SP4(2005.90.5000.0)版本的sqlservr....
SQL.Server.2005高级数据分析之财务管理高级分析建模[www.TopSage.com].zip
SqlQQ项目4.修改数据信息.sql,SqlQQ项目4.修改数据信息.sql SqlQQ项目4.修改数据信息.sql,SqlQQ项目4.修改数据信息.sql SqlQQ项目4.修改数据信息.sql
SqlQQ项目3.查询qq数据.sql,SqlQQ项目3.查询qq数据.sql SqlQQ项目3.查询qq数据.sql,SqlQQ项目3.查询qq数据.sql
SQL.Server.2005高级数据分析之财务管理常规分析建模
SQL.Server.2005高级数据分析之财务管理常规分析建模[www.TopSage.com].zip
SqlServer实验二:数据查询和Transact-SQL基础.doc SqlServer实验二:数据查询和Transact-SQL基础.doc SqlServer实验二:数据查询和Transact-SQL基础.doc SqlServer实验二:数据查询和Transact-SQL基础.doc Sql...