**一、需求场景分析**
在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的使用情况,从而优化数据模型。
一个MaxCompute项目中经常使用的表简称为热门表,使用次数较少或者很长时间不使用的表简称为冷门表,本文将介绍如何去通过MaxCompute元数据信息去分析热门表和冷门表。
**二、方案设计思路**
MaxCompute Information\_Schema提供了项目中全量的表元数据信息Tables以及包含访问表的作业明细数据tasks\_history,通过汇总各个表被作业访问的次数可以获知不同表被作业使用的频度。
**详细步骤如下:**
1、热门数据通过获取tasks\_history表里的input\_tables字段的详细信息,然后通过count统计一定时间分区内的各个表使用次数
2、冷门数据通过tables和tasks\_history里的input\_tables表的作业汇总数量进行关联、排序,从而统计出各张表在规定时间内的使用次数,正序排列
**三、方案实现方法**
1、获取tasks\_history表里的input\_tables字段的详细信息。如下图所示:
![1](https://yqfile.alicdn.com/2892fe2b94466991342f5fb0ba52668c2d6a826b.png)
查询数据的结果如下图所示:
![1](https://yqfile.alicdn.com/29983d6bf3284fe43fc43a35c7e0caf8bd596c6f.png)
发现在tasks\_history表中input\_tables字段格式为
\["lightning.customer","lightning.orders\_delta"\]
所以在统计的时候需要对字段进行按逗号分割
注意:案例中的时间分区可以根据需求去调整范围,区间根据实际场景去做相应的调整
例如:Ds>='20190902' and Ds<='20190905'
**函数处理如下:**
![1](https://yqfile.alicdn.com/3fbb48ad117434af0bd002fbbfcf394f117d1bf7.png)
处理结果如下图:
![1](https://yqfile.alicdn.com/9a4a9e26ddd7a490a052e31872a775d892d1127f.png)
2、统计热门表数据SQL编写:
![1](https://yqfile.alicdn.com/6827dfffdf755aec87198844421de9ee9b67a1c7.png)
结果如下图所示:
![1](https://yqfile.alicdn.com/8e9a47e9ba86eb99a0d0819fab735c1da39a5c26.png)
3、统计冷门表数据SQL编写:
通过tables和tasks\_history里的input\_tables表的作业汇总数量进行关联、排序,从而统计出各张表在规定时间内的使用次数,正序排列。
![1](https://yqfile.alicdn.com/f213b928983c0f8ee86e3ada02143c93d287776e.png)
结果如下所示:
![1](https://yqfile.alicdn.com/1612382a4f73ee5c0710db28bf047c930063fe8c.png)
![1](https://yqfile.alicdn.com/a1d8cf52616eb09e26635b763677afe9ac602b4a.png)
所有的表按照使用次数进行排序
即可得到各个表的使用次数排序信息。从而去进行合理化的管理数据表。
**注意:**SQL中的” your\_project\_name.”为表名前缀,客户需要参照自己的实际数据去做相应的修改调整。
[原文链接](https://yq.aliyun.com/articles/728178?utm_content=g_1000090962)
本文为云栖社区原创内容,未经允许不得转载。
分享到:
相关推荐
十大高就业率专业均是冷门原因分析-分析热门专业和冷门专业的图表模板样式范文.docx
专家们预测了2010年IT业主要领域的热门和冷门职业,仅供参考。
国外冷门免杀加壳程序Pepsi Packer v2 好用简单的免杀壳
巧用威廉赔率对比精准找出足彩冷门.docx
“抖音冷门直播项目,半无人的玩法模式,每天急需几个小时就可以操作”是一个专注于利用冷门内容进行直播,并在半无人模式下运营的项目。通过这个项目,参与者可以在每天只投入几个小时的时间,利用抖音平台进行冷门...
依旧很冷门的十款Java游戏源码,取自一些国外技术博客博主的作品,小弟收集到一处发出,慷他人之慨而已。不过原本就都不是商用,应该没人要版权才对……
地球上的“热门”与“冷门”高峰
最强大脑养成计划是一个冷门类型的虚拟项目,可以帮助人们提升大脑功能和思维能力,适合新手长期操作。 这个项目采用了一些先进的神经科学技术和认知心理学理论,旨在通过训练和游戏来提高人们的认知、记忆、分析和...
有什么冷门但是很好听的歌,那些冷门却好听的歌曲.doc
本人详细介绍了微信收藏按钮里的8个隐藏的你从来没用过但是很好用的很实用的小功能。
日语N1冷门语法整理
Linux是一种强大的操作系统,具有广泛的应用和灵活的功能。除了常见的命令和操作之外,还有一些冷门的技巧可以提高你的工作效率和系统管理能力。
用户可以根据自己的兴趣和专业领域,选择一些冷门但具有潜力的主题或话题,并通过AI工具进行图文内容的上传和编辑。AI将根据用户设定的关键词和风格要求,快速生成符合要求的高质量图文内容,省去了繁琐的手动操作和...
超冷门抖音赛道- -水果解压视频0风险大家好,今天给大家带来的项目是一个超冷门的赛道,就是水果解压视频。随着日常生活压力加剧,水果解压,多米诺骨牌,等这类比较解压的视频。人们都很爱看,刷完一个又一个,完播...
那些冷门却优秀的APP.pdf
大家好,今天带来一个冷门暴利的玩法,小红书养生花茶项目。这个项目是我们通过发布爆款笔记引流到微信,用1688一键代发来进行一个变现,项目整体比较简单,我们实测两个月可以变现5到10w,是一个新的红利项目。因为...
粤语动画赛道是抖音平台上一个极具潜力的冷门项目,它以粤语动画片和动画电影为主要内容,目标受众是广东和香港地区的用户。虽然这个赛道目前做的人很少,竞争相对较小,但是受众的付费意愿较强,因此具有很大的发展...
因为a字段同样存在缺失值,这里我们选择丢弃缺失值:因为不同地区的数量差异悬殊,如果我们要更清楚得查看系统差异,还需要将数据进行归一化: 加入需要获得不同性别对于各电影的平均打分,使用透视表就可以直接...
针对传统的知识推荐算法存在用户冷启动和冷门物品推荐的问题,提出了一种基于三部图网络结构的知识推荐算法。在计算相似度时引入网络结构中的度,综合考虑项目的度和权值及标签的度和权值对推荐算法的影响。实验结果...
日语一级冷门语法预测,非常经典,非常有用。呵呵。