- 浏览: 344617 次
- 性别:
- 来自: 杭州
文章分类
最新评论
-
lvyuan1234:
你好,你那个sample.txt文件可以分享给我吗
hive insert overwrite into -
107x:
不错,谢谢!
hive 表的一些默认值 -
on_way_:
赞
Hadoop相关书籍 -
bupt04406:
dengkanghua 写道出来这个问题该怎么解决?hbase ...
Unexpected state导致HMaster abort -
dengkanghua:
出来这个问题该怎么解决?hbase master启动不起来。
Unexpected state导致HMaster abort
(TOK_QUERY
(TOK_FROM (TOK_TABREF src))
(TOK_INSERT
(TOK_DESTINATION (TOK_DIR TOK_TMP_FILE))
(TOK_SELECT (TOK_SELEXPR TOK_ALLCOLREF))
(TOK_WHERE (< (. (TOK_TABLE_OR_COL src) key) 10))
)
)
一个查询会被Antlr解析成上面这种结构:root节点是TOK_QUERY,两个孩子节点是TOK_FROM,TOK_INSERT。
TOK_INSERT 有几个节点:(1)必须的 TOK_DESTINATION,数据写入到的目录 (2)必须的 TOK_SELECT,选取的字段 (3)其他节点非必须的,如TOK_WHERE,TOK_SORTBY,TOK_CLUSTERBY,TOK_DISTRIBUTEBY,TOK_ORDERBY,TOK_GROUPBY,TOK_LIMIT
from 有4种子节点: 见SemanticAnalyzer.doPhase1
(1) HiveParser.TOK_TABREF 普通的表
(2) HiveParser.TOK_SUBQUERY 子查询,这里有两种情况一种是无union的subq,或者是有union,两个subq union组成的:(subq1 union subq2) subqalias。 见SemanticAnalyzer.processSubQuery和SemanticAnalyzer.doPhase1QBExpr
(3) HiveParser.TOK_LATERAL_VIEW
(4) join:join节点有几个子节点,如两个TOK_TABREF+on表示的“=”节点三个子节点,或者两个子查询TOK_SUBQUERY节点。 join0.q,join1.q
(TOK_JOIN
(TOK_TABREF src src1)
(TOK_TABREF src src2)
(=
(. (TOK_TABLE_OR_COL src1) key)
(. (TOK_TABLE_OR_COL src2) key)
)
)
SemanticAnalyzer.genPlan(QB qb){
(1) 递归遍历子查询(子查询来自from),生成子查询的operator,子查询的operator依然是通过调用SemanticAnalyzer.genPlan(QB qb)来生成,子查询有两种一种是union,一种是非union,两种情况处理不相同。
如果是非union,直接调用SemanticAnalyzer.genPlan(QB qb)来生成子查询的operator树。
如果是union,则union的两个子节点分别调用SemanticAnalyzer.genPlan(QB qb)来生成两个子查询的operator的树,然后生成一个UnionOperator来union这两个子operator树。见SemanticAnalyzer.genPlan(QBExpr qbexpr)
operator如下:
1.1 如果subquery是QBExpr.Opcode.NULLOP类型,生成subquery的operator树。
1.2 如果subquery是QBExpr.Opcode.UNION,生成两个子subquery的operator树,生成一个union operator 做为两个子subquery的共同child。
(2) 遍历所有的源表,针对每个源表生成一个对应的TableScanOperator
(3) 处理lateral view
(4) 处理join (join出现在from中)
operator如下:
4.1 如果join条件中有过滤条件,抽取出来生成FilterOperator过滤不需要的records,放到join操作前.
4.2 生成JoinOperator,做为join操作两边的operator的child。
(5) genBodyPlan(QB qb, Operator input)
}
SemanticAnalyzer.genBodyPlan(QB qb, Operator input){
(1) multi-group by 看能够优化
(2) 针对每个目标表(destination tables,doPhase1在处理HiveParser.TOK_SELECT时设置),destToSelExpr
2.1 如果有where条件,生成一个FilterOperator
2.2 如果有聚合函数或者groupby,做如下处理:
插入一个select operator,选取所有的字段,用于优化阶段ColumnPruner的优化
2.2.1 hive.map.aggr为true,默认是true,开启的,在map端做部分聚合
2.2.1.1 hive.groupby.skewindata为false,默认是关闭的,groupby的数据没有倾斜。
生成的operator是: GroupByOperator+ReduceSinkOperator+GroupByOperator。
GroupByOperator+ReduceSinkOperator用于在map端做操作,第一个GroupByOperator在map端先做部分聚合。第二个用于在reduce端做GroupBy操作
2.2.1.2 hive.groupby.skewindata为true
生成的operator是: GroupbyOperator+ReduceSinkOperator+GroupbyOperator+ReduceSinkOperator +GroupByOperator
GroupbyOperator+ReduceSinkOperator(第一个MapredTask的map阶段)
GroupbyOperator(第一个MapredTask的reduce阶段)
ReduceSinkOperator (第二个MapredTask的map阶段)
GroupByOperator(第二个MapredTask的reduce阶段)
2.2.2 hive.map.aggr为false
2.2.2.1 hive.groupby.skewindata为true
生成的operator是: ReduceSinkOperator+GroupbyOperator+ReduceSinkOperator +GroupByOperator
ReduceSinkOperator(第一个MapredTask的map阶段)
GroupbyOperator(第一个MapredTask的reduce阶段)
ReduceSinkOperator (第二个MapredTask的map阶段)
GroupByOperator(第二个MapredTask的reduce阶段)
2.2.2.2 hive.groupby.skewindata为false
生成的operator是: ReduceSinkOperator(map阶段运行)+GroupbyOperator(reduce阶段运行)
2.3 生成一个SelectOperator
2.4 如果有ClusterBy、DistributedBy、OrderBy、SortBy生成ReduceSinkOperator+ExtractOperator
如果是OrderBy,则会设置numReducers的个数为1
2.5 是否是子查询,是2.5.1,否2.5.2
2.5.1 是子查询
2.5.2 不是子查询
1. 是否有limit,无跳过,有进行相应处理。
2. 如果前面获得的字段类型跟最终的字段类型不同,需要做转换则生成一个SelectOperator用于类型转换,最后生成一个FileSinkOperator。
结束。
}
任何一个Map Join都会由两阶段构成
第一阶段是本地任务把小表分发到每一台机
第二阶段是执行Map-Only Job,进行Map Join操作
还有待整理。。
(TOK_FROM (TOK_TABREF src))
(TOK_INSERT
(TOK_DESTINATION (TOK_DIR TOK_TMP_FILE))
(TOK_SELECT (TOK_SELEXPR TOK_ALLCOLREF))
(TOK_WHERE (< (. (TOK_TABLE_OR_COL src) key) 10))
)
)
一个查询会被Antlr解析成上面这种结构:root节点是TOK_QUERY,两个孩子节点是TOK_FROM,TOK_INSERT。
TOK_INSERT 有几个节点:(1)必须的 TOK_DESTINATION,数据写入到的目录 (2)必须的 TOK_SELECT,选取的字段 (3)其他节点非必须的,如TOK_WHERE,TOK_SORTBY,TOK_CLUSTERBY,TOK_DISTRIBUTEBY,TOK_ORDERBY,TOK_GROUPBY,TOK_LIMIT
from 有4种子节点: 见SemanticAnalyzer.doPhase1
(1) HiveParser.TOK_TABREF 普通的表
(2) HiveParser.TOK_SUBQUERY 子查询,这里有两种情况一种是无union的subq,或者是有union,两个subq union组成的:(subq1 union subq2) subqalias。 见SemanticAnalyzer.processSubQuery和SemanticAnalyzer.doPhase1QBExpr
(3) HiveParser.TOK_LATERAL_VIEW
(4) join:join节点有几个子节点,如两个TOK_TABREF+on表示的“=”节点三个子节点,或者两个子查询TOK_SUBQUERY节点。 join0.q,join1.q
(TOK_JOIN
(TOK_TABREF src src1)
(TOK_TABREF src src2)
(=
(. (TOK_TABLE_OR_COL src1) key)
(. (TOK_TABLE_OR_COL src2) key)
)
)
SemanticAnalyzer.genPlan(QB qb){
(1) 递归遍历子查询(子查询来自from),生成子查询的operator,子查询的operator依然是通过调用SemanticAnalyzer.genPlan(QB qb)来生成,子查询有两种一种是union,一种是非union,两种情况处理不相同。
如果是非union,直接调用SemanticAnalyzer.genPlan(QB qb)来生成子查询的operator树。
如果是union,则union的两个子节点分别调用SemanticAnalyzer.genPlan(QB qb)来生成两个子查询的operator的树,然后生成一个UnionOperator来union这两个子operator树。见SemanticAnalyzer.genPlan(QBExpr qbexpr)
operator如下:
1.1 如果subquery是QBExpr.Opcode.NULLOP类型,生成subquery的operator树。
1.2 如果subquery是QBExpr.Opcode.UNION,生成两个子subquery的operator树,生成一个union operator 做为两个子subquery的共同child。
(2) 遍历所有的源表,针对每个源表生成一个对应的TableScanOperator
(3) 处理lateral view
(4) 处理join (join出现在from中)
operator如下:
4.1 如果join条件中有过滤条件,抽取出来生成FilterOperator过滤不需要的records,放到join操作前.
4.2 生成JoinOperator,做为join操作两边的operator的child。
(5) genBodyPlan(QB qb, Operator input)
}
SemanticAnalyzer.genBodyPlan(QB qb, Operator input){
(1) multi-group by 看能够优化
(2) 针对每个目标表(destination tables,doPhase1在处理HiveParser.TOK_SELECT时设置),destToSelExpr
2.1 如果有where条件,生成一个FilterOperator
2.2 如果有聚合函数或者groupby,做如下处理:
插入一个select operator,选取所有的字段,用于优化阶段ColumnPruner的优化
2.2.1 hive.map.aggr为true,默认是true,开启的,在map端做部分聚合
2.2.1.1 hive.groupby.skewindata为false,默认是关闭的,groupby的数据没有倾斜。
生成的operator是: GroupByOperator+ReduceSinkOperator+GroupByOperator。
GroupByOperator+ReduceSinkOperator用于在map端做操作,第一个GroupByOperator在map端先做部分聚合。第二个用于在reduce端做GroupBy操作
2.2.1.2 hive.groupby.skewindata为true
生成的operator是: GroupbyOperator+ReduceSinkOperator+GroupbyOperator+ReduceSinkOperator +GroupByOperator
GroupbyOperator+ReduceSinkOperator(第一个MapredTask的map阶段)
GroupbyOperator(第一个MapredTask的reduce阶段)
ReduceSinkOperator (第二个MapredTask的map阶段)
GroupByOperator(第二个MapredTask的reduce阶段)
2.2.2 hive.map.aggr为false
2.2.2.1 hive.groupby.skewindata为true
生成的operator是: ReduceSinkOperator+GroupbyOperator+ReduceSinkOperator +GroupByOperator
ReduceSinkOperator(第一个MapredTask的map阶段)
GroupbyOperator(第一个MapredTask的reduce阶段)
ReduceSinkOperator (第二个MapredTask的map阶段)
GroupByOperator(第二个MapredTask的reduce阶段)
2.2.2.2 hive.groupby.skewindata为false
生成的operator是: ReduceSinkOperator(map阶段运行)+GroupbyOperator(reduce阶段运行)
2.3 生成一个SelectOperator
2.4 如果有ClusterBy、DistributedBy、OrderBy、SortBy生成ReduceSinkOperator+ExtractOperator
如果是OrderBy,则会设置numReducers的个数为1
2.5 是否是子查询,是2.5.1,否2.5.2
2.5.1 是子查询
2.5.2 不是子查询
1. 是否有limit,无跳过,有进行相应处理。
2. 如果前面获得的字段类型跟最终的字段类型不同,需要做转换则生成一个SelectOperator用于类型转换,最后生成一个FileSinkOperator。
结束。
}
任何一个Map Join都会由两阶段构成
第一阶段是本地任务把小表分发到每一台机
第二阶段是执行Map-Only Job,进行Map Join操作
还有待整理。。
发表评论
-
hive rename table name
2013-09-18 14:28 2547hive rename tablename hive re ... -
hive的distribute by如何partition long型的数据
2013-08-20 10:15 2433有用户问:hive的distribute by分桶是怎么分 ... -
hive like vs rlike vs regexp
2013-04-11 18:53 11174like vs rlike vs regexp r ... -
hive sql where条件很简单,但是太多
2012-07-18 15:51 8703insert overwrite table aaaa ... -
insert into时(string->bigint)自动类型转换
2012-06-14 12:30 8249原表src: hive> desc src; ... -
通过复合结构来优化udf的调用
2012-05-11 14:07 1186select split("accba&quo ... -
RegexSerDe
2012-03-14 09:58 1522官方示例在: https://cwiki.apache.or ... -
Hive 的 OutputCommitter
2012-01-30 19:44 1786Hive 的 OutputCommitter publi ... -
hive LATERAL VIEW 行转列
2011-11-09 14:49 5405drop table lateralview; create ... -
hive complex type
2011-11-08 19:56 1327数据: 1,100|3,20|2,70|5,100 建表: ... -
hive转义字符
2011-10-25 16:41 6202CREATE TABLE escape (id STRING, ... -
hive 两个不同类型的columns进行比较
2011-09-19 13:46 2997select case when "ab1234&q ... -
lateral view
2011-09-18 04:04 0lateral view与udtf相关 -
udf 中获得 FileSystem
2011-09-14 10:28 0在udf中获得FileSystem,需要获得知道fs.defa ... -
hive union mapjoin
2011-09-09 16:29 0union union.q union2.q ... -
hive eclipse
2011-09-08 17:42 0eclipse-templates$ vi .classpat ... -
hive join filter
2011-09-07 23:05 0join16.q.out hive.optimize.ppd ... -
hive limit
2011-09-07 21:02 0limit 关键字: input4_limit.q.out ... -
hive convertMapJoin MapJoinProcessor
2011-09-06 21:17 0join25.q join26 ... -
hive hive.merge.mapfiles hive.merge.mapredfiles
2011-09-06 19:14 0HiveConf: HIVEMERGEMAPFILES ...
相关推荐
使用hive3.1.2和spark3.0.0配置hive on spark的时候,发现官方下载的hive3.1.2和spark3.0.0不兼容,hive3.1.2对应的版本是spark2.3.0,而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以,如果想要使用高...
《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第5章 Hive数据操作.pdf《Hive数据仓库案例教程》教学课件 第...
Hive表生成工具,Hive表生成工具Hive表生成工具
1 Hive 概念与连接使用: 2 2 Hive支持的数据类型: 2 2.1原子数据类型: 2 2.2复杂数据类型: 2 2.3 Hive类型转换: 3 3 Hive创建/删除数据库 3 3.1创建数据库: 3 3.2 删除数据库: 3 4 Hive 表相关语句 3 4.1 Hive ...
hive-jdbc
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储...
hive hive hive hive hive hive hive hive hive hive hive hive
利用Hive进行复杂用户行为大数据分析及优化案例(全套视频+课件+代码+讲义+工具软件),具体内容包括: 01_自动批量加载数据到hive 02_Hive表批量加载数据的脚本实现(一) 03_Hive表批量加载数据的脚本实现(二) ...
Hive是一个基于Hadoop的数据仓库工具,它本身并不存储数据,部署在Hadoop集群上,数据是存储在HDFS上的. Hive所建的表在HDFS上对应的是一个文件夹,表的内容对应的是一个文件。它不仅可以存储大量的数据而且可以对...
5.安装hive和mysq完成后,将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下 如果出现没有权限的问题,在mysql授权(在安装mysql的机器上执行) mysql -uroot -p #(执行下面的语句 *.*:所有库下的所有表 %:任何IP地址...
Ambari下Hive3.0升级到Hive4.0,验证自测;
Hive原理/Hive SQL/Hive 函数/数据仓库分层和建模/Hive sql优化/数据倾斜
Hive.sql
由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language),因此很容易将 Hive 理解为数据库。其实从结构上来看,Hive 和数据库除了拥有类似的查询语言,再无类似之处。本文将从多个方面来阐述 Hive ...
基于hadoop的Hive数据仓库JavaAPI简单调用的实例,关于Hive的简介在此不赘述。hive提供了三种用户接口:CLI,JDBC/ODBC和 WebUI CLI,即Shell命令行 JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 Web...
apache-hive-2.1.1-bin.tar apache-hive-2.1.1-bin.tar apache-hive-2.1.1-bin.tarapache-hive-2.1.1-bin.tar apache-hive-2.1.1-bin.tar apache-hive-2.1.1-bin.tarapache-hive-2.1.1-bin.tar apache-hive-2.1.1-...
hive 驱动包 hive 链接 datagrip的驱动包
Hive优化方法整理 hive 数据倾斜 内连接
hive介绍和hive环境搭建。。一、 安装mysql 1. 使用root用户: su root 2. 安装 yum install mysql yum install mysql-server yum install mysql-devel(可选) 3. 修改配置信息,添加: vim /etc/my.cnf ...