- 浏览: 109114 次
- 性别:
- 来自: 深圳
文章分类
最新评论
-
土豆蛋儿:
我想读取一个外部文件,以什么方式好了? 文件内容经常编辑
flume 自定义source -
土豆蛋儿:
大神,您好。
flume 自定义source
1. org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000
问题:hive --service hiveserver 启动hiveserver服务
解决方法:端口被占用 ,kill 该端口进程或者重新制定端口 hive --service hiveserver -p 10001
2. Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
解决方法:./hive -hiveconf hive.root.logger=DEBUG,console
输出错误日志,进行修改。一般都是hive用户mysql库权限问题。
3. Error: dl failure on line 864
Error: failed /home/app/jdk1.7.0_21/jre/lib/i386/client/libjvm.so, because /home/app/jdk1.7.0_21/jre/lib/i386/client/libjvm.so: cannot restore segment prot after reloc: Permission denied
解决方法: /usr/sbin/setenforce 0
4. 运行Hadoop程序 时,出现 Filesystem closed异常。
通过查证是设置了缓存。需要取消缓存。
通过修改配置文件core-site.xml:
<property>
<name>fs.hdfs.impl.disable.cache</name>
<value>true</value>
</property>
程序仍然出现上述问题。
在程序中,加上这条语句:JobConf jobConf.set("fs.hdfs.impl.disable.cache", "true");
程序运行成功。
5 Failed with exception Unable to move sourcehdfs://vmtmstorm01:8020/test to destination hdfs://vmtmstorm01:8020/user/hive/warehouse/ptest/name=ww/test
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask
原因:由于hive的用户权限问题,hive在源目录或者是目的目录没有操作的权限
6. Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClie
1.可能是mysql权限不够
2.可能是元数据服务未启动或hive服务未启动
7.Caused by: org.apache.thrift.protocol.TProtocolException: Required field 'serverProtocolVersion' is unset! Struct:TOpenSessionResp(status:TStatus(statusCode:SUCCESS_STATUS), serverProtocolVersion:null, sessionHandle:TSessionHandle(sessionId:THandleIdentifier(guid:A0 3F 2D 35 DD BD 47 6C 80 B6 36 83 1A DB 60 4C, secret:F6 13 B5 E3 20 65 48 F5 9A F4 0F 04 A2 FC 30 B2)), configuration:{})
原因:因为hive的hiveserver版本和包不一致
8.ClassNotFoundException HttpRequestInterceptor。。。
原因:这几个 jar 在 solr 3.6 的发行包中并没有集成,需要从这里下载
http://archive.apache.org/dist/httpcomponents/httpclient/binary/httpcomponents-client-4.1.3-bin.zip
问题:hive --service hiveserver 启动hiveserver服务
解决方法:端口被占用 ,kill 该端口进程或者重新制定端口 hive --service hiveserver -p 10001
2. Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
解决方法:./hive -hiveconf hive.root.logger=DEBUG,console
输出错误日志,进行修改。一般都是hive用户mysql库权限问题。
3. Error: dl failure on line 864
Error: failed /home/app/jdk1.7.0_21/jre/lib/i386/client/libjvm.so, because /home/app/jdk1.7.0_21/jre/lib/i386/client/libjvm.so: cannot restore segment prot after reloc: Permission denied
解决方法: /usr/sbin/setenforce 0
4. 运行Hadoop程序 时,出现 Filesystem closed异常。
通过查证是设置了缓存。需要取消缓存。
通过修改配置文件core-site.xml:
<property>
<name>fs.hdfs.impl.disable.cache</name>
<value>true</value>
</property>
程序仍然出现上述问题。
在程序中,加上这条语句:JobConf jobConf.set("fs.hdfs.impl.disable.cache", "true");
程序运行成功。
5 Failed with exception Unable to move sourcehdfs://vmtmstorm01:8020/test to destination hdfs://vmtmstorm01:8020/user/hive/warehouse/ptest/name=ww/test
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask
原因:由于hive的用户权限问题,hive在源目录或者是目的目录没有操作的权限
6. Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClie
1.可能是mysql权限不够
2.可能是元数据服务未启动或hive服务未启动
7.Caused by: org.apache.thrift.protocol.TProtocolException: Required field 'serverProtocolVersion' is unset! Struct:TOpenSessionResp(status:TStatus(statusCode:SUCCESS_STATUS), serverProtocolVersion:null, sessionHandle:TSessionHandle(sessionId:THandleIdentifier(guid:A0 3F 2D 35 DD BD 47 6C 80 B6 36 83 1A DB 60 4C, secret:F6 13 B5 E3 20 65 48 F5 9A F4 0F 04 A2 FC 30 B2)), configuration:{})
原因:因为hive的hiveserver版本和包不一致
8.ClassNotFoundException HttpRequestInterceptor。。。
原因:这几个 jar 在 solr 3.6 的发行包中并没有集成,需要从这里下载
http://archive.apache.org/dist/httpcomponents/httpclient/binary/httpcomponents-client-4.1.3-bin.zip
发表评论
-
hive + hbase
2015-01-04 10:42 738环境配置: hadoop-2.0.0-cdh4.3.0 (4 ... -
hive 数据倾斜
2014-08-27 09:03 650链接:http://www.alidata.org/archi ... -
hive 分通总结
2014-08-27 08:42 550总结分析: 1. 定义了桶,但要生成桶的数据,只能是由其他表 ... -
深入了解Hive Index具体实现
2014-08-25 08:51 708索引是标准的数据库技术,hive 0.7版本之后支持索引。hi ... -
explain hive index
2014-08-24 16:44 1124设置索引: 使用聚合索引优化groupby操作 hive> ... -
Hive 中内部表与外部表的区别与创建方法
2014-08-15 17:11 728分类: Hive 2013-12-07 11:56 ... -
hive map和reduce的控制
2014-08-15 16:14 600一、 控制hive任务中的map数: 1. 通 ... -
hive 压缩策略
2014-08-15 15:16 1732Hive使用的是Hadoop的文件 ... -
hive 在mysql中创建备用数据库
2014-08-15 09:21 844修改hive-site.xml <property> ... -
HIVE 窗口及分析函数
2014-08-11 16:21 1156HIVE 窗口及分析函数 使 ... -
hive 内置函数
2014-08-11 09:06 30321.sort_array(): sort_array(arra ... -
hive lateral view
2014-08-09 14:59 1994通过Lateral view可以方便的将UDTF得到的行转列的 ... -
hive数据的导出
2014-07-28 21:53 423在本博客的《Hive几种数据导入方式》文章中,谈到了Hive中 ... -
hive udaf
2014-07-25 16:11 720package com.lwz.udaf; import o ... -
hive自定义InputFormat
2014-07-25 09:13 825自定义分隔符 package com.lwz.inputf; ... -
HiveServer2连接ZooKeeper出现Too many connections问题的解决
2014-07-24 08:49 1696HiveServer2连接ZooKeeper出现Too man ... -
hive 常用命令
2014-07-17 22:22 6441.hive通过外部设置参数传入脚本中: hiv ... -
CouderaHadoop中hive的Hook扩展
2014-07-16 21:18 3267最近在做关于CDH4.3.0的hive封装,其中遇到了很多问题 ... -
利用SemanticAnalyzerHook回过滤不加分区条件的Hive查询
2014-07-16 16:43 1426我们Hadoop集群中将近百分之80的作业是通过Hive来提交 ... -
hive 的常用命令
2014-07-16 10:07 0设置、查看hive当前的角色: set sys ...
相关推荐
Hive优化案例、Hive数据处理模式、Hive常见问题与优化、Hive实践
大数据常用组件 Hue的常见问题解决方案,包涵大部分常见Hue的问题整理,供参考
1、基本概念 4 2、常见问题 22 1、 基本概念
hive 下dual表,Lock,explain, 数据类型,开发常见的问题
hive 面试宝典,hive常见问题,hive优化非常详细
Hive常见异常处理,长期累积的经验 Hive常见异常处理
Hive常见错误及解决方案.docx
hive工作常见问题解决收集开发人员在Hive日常开发过程中难免遇到各种各样的hive报错,这些报错信息很多时间并没有形成汇总的知识库,每次遇到问题都会重复查资料,效率非常低 现在总结一些常见的知识库,方便大家...
涉及到Hive优化相关的一些常用技巧,当Hive出现数据倾斜时或者负载不均衡等情况,往往会出现耗久,甚至跑不出结果的尴尬场面,这个时候如果计算资源监控显示有没有完全饱和利用,就需要涉及到优化了;
1)Failing because I am unlikely to write too. 2)Caused by: java.lang.OutOfMemoryError: Java heap space ...5)hive on tez 最终insert的表如果使用到union all 时会导致直接查询结果表数据为空的
Hive SQL 常见函数
利用Hive进行复杂用户行为大数据分析及...13_Hive中的常见调优 14_Hive中的数据倾斜及解决方案-三种join方式 15_Hive中的数据倾斜及解决方案-group by 16_Hive中使用正则加载数据 17_Hive中使用Python脚本进行预处理
hive调优总结,网络上分享的hive常见优化细节,join、shuffle优化等等。很不错
满足不懂技术的分析人员来快速使用Hive 进行常见的日常数据分析。 第二部分:如果想能写出高效的Hive 语句,必须要先了解Hive 执行原理,然后掌握一系列 的优化方法。所以第二部分主要内容是Hive 原理与优化。 第三...
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的 sql查询功能,可以将sql语句转换 为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL 语句快速实现简单的...
Hive语法详解: 包括DDL,DML,DQL语法; Hive内置函数及自定义函数; Hive窗口函数及行列转换; hive常见优化
hive调优总结,网络上分享的hive常见优化细节,这是一个前辈的总结,个人觉得,总结得相当到位和详细
49.Hive中的常见调优 50.Hive中的数据倾斜及解决方案-三种join方式 51.Hive中的数据倾斜及解决方案-group by 52.Hive中使用正则加载数据 53. Hive中使用Python脚本进行预处理 第5章:Zeus任务资源调度工具 54.资源...
hive常用命令 1、进入hive数据库:hive 2、查看hive中的所有数据库:show databases; 3、用default数据库:use default; 4、查看所有的表:show tables; 5、查询表结构:desc mytest(表名); 6、查询表数据: ...
大数据技术之-08-Hive学习-05-Hive实战之谷粒影音+常见错误及解决方案.docx