1 SQL娴熟,这体现在ETL的hive阶段,自定义函数,分析函数,SQL各种关联写 (类dba倾向)
2 hive SQL优化要懂
3 mr流程要很熟悉, MR 优化,配置要知道,这在hive sql优化上有帮助,甚至有的hive写法很消耗效率,
启动多个mr的时候,
能自定义mr 来替代
4 大数据的ETL流程架构结合(mr hive hbase)
大数据的流处理结构结合(flume kafka storm hbase)
5 spark 替代方案
6 数据完整性, 这里是指 从关系库oracle等到 hadoop系统后,
你处理的数据个数要两者保证一致, 比如前者5000W 到后者 4900W
你在大数据业务下处理后的数据结果要和业务要求匹配对,比如前者期待结果为 15元 后者结果为14元
7 Linux运维能力,这里为啥提这一点,在配合运维同事测试的时候,对问题的定位,这种对hadoop的熟悉
linux的熟悉程度,决定了你处理问题的速率, 也间接决定了你的威信,价值。
这个过程需要很多硬功的积累,注定要很多压力,纠结, 且行且努力吧。
相关推荐
大数据心得体会 早在2007年,人类制造的信息量有史以来第一次在理论上超过可用存储空间总量,近 几年两者的剪刀差越来越大。2010年,全球数字规模首次达到了"ZB"(1ZB=1024TB)级 别。2012年,淘宝网每天在线商品数...
大数据心得体会800字_《大数据》读后感
大数据培训心得全文共1页,当前为第1页。大数据培训心得全文共1页,当前为第1页。学习总结 大数据培训心得全文共1页,当前为第1页。 大数据培训心得全文共1页,当前为第1页。 大数据的定义 也叫巨量资料,指的是所...
大数据心得体会.pdf
大数据心得体会.docx
大数据审计心得体会范文.doc
电信行业数据挖掘与大数据心得体会.pptx
大数据心得[文].pdf
读大数据时代心得体会.pdf
夏明武电信行业数据挖掘与大数据心得体会39.pptx
大数据心得.doc该文档详细且完整,值得借鉴下载使用,欢迎下载使用,有问题可以第一时间联系作者~
大数据心得体会 早在2007年,人类制造的信息量有史以来第一次在理论上超过可用存储空间总量,近 几年两者的剪刀差越来越大.2010年,全球数字规模首次达到了"ZB"(1ZB=1024TB)级别 。2012年,淘宝网每天在线商品数...
大数据课后心得全文共4页,当前为第1页。大数据课后心得全文共4页,当前为第1页。大数据课后心得 大数据课后心得全文共4页,当前为第1页。 大数据课后心得全文共4页,当前为第1页。 专业班级:管科1501班 姓名:范...
大数据学习心得全文共8页,当前为第1页。大数据学习心得全文共8页,当前为第1页。大数据学习心得 大数据学习心得全文共8页,当前为第1页。 大数据学习心得全文共8页,当前为第1页。 大数据中的"大"不是绝对意义上的...
2020大数据培训心得体会3篇.pdf2020大数据培训心得体会3篇.pdf2020大数据培训心得体会3篇.pdf2020大数据培训心得体会3篇.pdf2020大数据培训心得体会3篇.pdf2020大数据培训心得体会3篇.pdf2020大数据培训心得体会3篇....