1Q: 是否有像类似于phpmyadmin一样的hive查询客户端,能以界面的方式查询hive语句和导出数据
A: 有的,客户端的话可以使用squirrel来连接hive,squirrel是一个通用的数据库查询客户端,还有有一个开源项目phphiveadmin也不错,
web方式访问hive,这里也有一个hive web client(https://github.com/lalaguozhe/hiveweb-1)
2Q: 执行语句时候,能否控制reducer的个数
A: 可以在执行hive语句之前先 set mapred.reduce.tasks=<number>
3Q: 是否可能在输出的时候在结果第一行打印列名
A: 可以在执行hive语句之前先 set hive.cli.print.header=true;
4Q: Hive是否支持跨数据库查询,比如database arch的table1和database algo的table2 进行join
A: 可以,只要有用户有这两张表的select权限即可,用户需要用“database.table”的方式来指定数据库下的表
5Q: Hive是否有内置的函数,可以对输出的数据进行处理
A: Hive提供了丰富的内置函数,参见https://cwiki.apache.org/Hive/languagemanual-udf.html,
用户也可以自己实现自定义的UDF方法来满足更复杂的查询需求
6Q: Hive支持exist in么?
A: 不支持,但是可以通过改写语句达到相同的效果,比如对于查询语句:
SELECT a.key, a.value FROM a WHERE a.key in (SELECT b.key FROM B);
可以改写成:
SELECT a.key, a.val
FROM a LEFT SEMI JOIN b on (a.key = b.key)
PS:上述答案过时了,目前 hive 已经支持 in 查询了。
http://blog.csdn.net/yfkiss/article/details/8073608
7Q:Hive是否支持本地执行模式
A:Hive支持本地执行模式,当数据量小的时候,本地执行比提交到集群上执行效率提升很大
set hive.exec.mode.local.auto=true(默认false)
当一个job满足如下条件才能真正使用本地模式:
1.job的输入数据大小必须小于参数hive.exec.mode.local.auto.inputbytes.max(默认值128MB)
2.job的map处理的文件数大于参数hive.exec.mode.local.auto.input.files.max(默认值4)
3.job的reduce数必须为0或者1,不管是用户设置的还是系统推测出来的
用参数hive.mapred.local.mem(默认0)来设置local mode下mapper和reducer task jvm heap size
8Q: 关键词UNION ALL的用法
A:The number and names of columns returned by each select_statement has to be the same. Otherwise, a schema error is thrown.
UNION ALL两边的字段名,和字段数都必须一致,可以用as xxx来统一字段名,并且目前UNION ALL只能作为子查询。
9Q:hive left outer join的问题:where 与 on 条件的区别
http://blog.csdn.net/lalaguozhe/article/details/9498947
10Q:其它技巧请见:
http://my.oschina.net/leejun2005/blog/121945
11、对于 jar 包调用失败 NullPointerException 的问题:
FAILED: Error in metadata: java.lang.NullPointerException
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
你可能需要再 hive-site.xml 中添加 jar 的路径:
具体参考:http://abloz.com/2013/03/28/the-hive-execute-statements-times-nullpointerexception.html
1 |
< property >
|
2 |
< name >
|
3 |
hive.aux.jars.path
|
4 |
</ name >
|
5 |
< value >
|
6 |
file:///home/june/soft/hive-0.9.0-bin/lib/hive-json-serde.jar
|
7 |
</ value >
|
8 |
</ property >
|
相关推荐
Hive优化案例、Hive数据处理模式、Hive常见问题与优化、Hive实践
大数据常用组件 Hue的常见问题解决方案,包涵大部分常见Hue的问题整理,供参考
hive 下dual表,Lock,explain, 数据类型,开发常见的问题
Hive常见异常处理,长期累积的经验 Hive常见异常处理
Hive常见错误及解决方案.docx
1、基本概念 4 2、常见问题 22 1、 基本概念
hive工作常见问题解决收集开发人员在Hive日常开发过程中难免遇到各种各样的hive报错,这些报错信息很多时间并没有形成汇总的知识库,每次遇到问题都会重复查资料,效率非常低 现在总结一些常见的知识库,方便大家...
涉及到Hive优化相关的一些常用技巧,当Hive出现数据倾斜时或者负载不均衡等情况,往往会出现耗久,甚至跑不出结果的尴尬场面,这个时候如果计算资源监控显示有没有完全饱和利用,就需要涉及到优化了;
Hive入门与实战 PDF
大数据教程-Hive的安装与配置,详细细节安装、部署步骤
hive hive hive hive hive hive hive hive hive hive hive hive
1)Failing because I am unlikely to write too. 2)Caused by: java.lang.OutOfMemoryError: Java heap space ...5)hive on tez 最终insert的表如果使用到union all 时会导致直接查询结果表数据为空的
Hive SQL 常见函数
Hive安装与配置
大数据技术基础实验报告-Hive安装配置与应用
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的 sql查询功能,可以将sql语句转换 为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL 语句快速实现简单的...
Hive入门与实战
1 Hive 概念与连接使用: 2 2 Hive支持的数据类型: 2 2.1原子数据类型: 2 2.2复杂数据类型: 2 2.3 Hive类型转换: 3 3 Hive创建/删除数据库 3 3.1创建数据库: 3 3.2 删除数据库: 3 4 Hive 表相关语句 3 4.1 Hive ...
使用hive3.1.2和spark3.0.0配置hive on spark的时候,发现官方下载的hive3.1.2和spark3.0.0不兼容,hive3.1.2对应的版本是spark2.3.0,而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以,如果想要使用高...
hive-jdbc