- 浏览: 342828 次
- 性别:
- 来自: 上海
文章分类
最新评论
-
tpxcer:
不开启时可以的,而且开启以后各种坑。。。。
hue beeswax权限管理 -
yangze:
博主请教一个问题,hue 控制hive表的权限怎么弄? 怎么联 ...
cloudera新增用户权限配置 -
linux91:
楼主你好,我用CM配置LDAP用户组映射,进入impala时, ...
sentry配置 -
linux91:
版主:按你的步骤配置了,可是,执行 impala-shell ...
impala集成LDAP -
lookqlp:
super_a 写道你好!找不到表这个问题是如何解决的,可以描 ...
hcatalog读取hive数据并写入hive
前置条件
hadoop hive hbase环境搭建完成。
搭建版本
hadoop-1.0.3
hive-0.9.0
hbase-0.94.2
zookeeper-3.3.5
步骤
配置hive xml,配置hbase与hive结合包
将hbase-0.94.2.jar 、zookeeper-3.3.5.jar包copy至所有节点$HDOOP_HOME/lib及$HIVE_HOME/lib下。注意$HIVE_HOME/lib含有hbase包需要删除。
将hbase-site.xml文件copy至所有节点$HDOOP_HOME/conf下。
测试,启动hive,创建表
若创建表不成功,查看hive日志提示如下异常:
表明hbase中protobuf-java-2.4.0a.jar包没有在集群的classpath中,查看该job的syslog logs "conf classpath =..."确实不存在该包,需要将protobuf-java-2.4.0a.jar包copy至所有节点$HADOOP_HOME/lib下,并需要重启集群(不重启该包不会被加载进classpath)
qq表创建表成功后,打开hbase shell窗口,list查看xx表已经存在。
hive表中插入数据:
分别查看hive中qq表,hbase中xx表数据,都有数据。----表示结合成功。
很多资料包括官网使用insert into table qq select * from test即可导入,但实践证明不成功,可能是hbase及hive版本导致的。
注意:如上sql中test表字段类型必须与qq表字段类型一致,若不一致会报如下异常:
hive创建hbase已经存在的表:
info表示列族,name和age为列族下的两个列。若hbase中还有info:class列,但创建hive关联表使用如上语句,执行select * from te只可得到key,value1、value2的值,即rowkey、name、age,没有class的值。
hadoop hive hbase环境搭建完成。
搭建版本
hadoop-1.0.3
hive-0.9.0
hbase-0.94.2
zookeeper-3.3.5
步骤
配置hive xml,配置hbase与hive结合包
<property> <name>hive.aux.jars.path</name> <value>file:///usr/local/hive-0.9.0/lib/hive-hbase-handler-0.9.0.jar,file:///usr/local/hive-0.9.0/lib/hbase-0.94.2.jar,file:///usr/local/hive-0.9.0/lib/zookeeper-3.3.5.jar</value> </property>
将hbase-0.94.2.jar 、zookeeper-3.3.5.jar包copy至所有节点$HDOOP_HOME/lib及$HIVE_HOME/lib下。注意$HIVE_HOME/lib含有hbase包需要删除。
将hbase-site.xml文件copy至所有节点$HDOOP_HOME/conf下。
测试,启动hive,创建表
CREATE TABLE qq(key string, value string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:value") TBLPROPERTIES ("hbase.table.name" = "xx"); --数据表 create table test(a string,b string); --含有数据: --1 a --2 b --3 c
若创建表不成功,查看hive日志提示如下异常:
2012-11-29 12:33:02,191 FATAL ExecMapper: java.lang.NoClassDefFoundError: com/google/protobuf/Message at org.apache.hadoop.hbase.io.HbaseObjectWritable.<clinit>(HbaseObjectWritable.java:263) at org.apache.hadoop.hbase.ipc.Invocation.write(Invocation.java:139) at org.apache.hadoop.hbase.ipc.HBaseClient$Connection.sendParam(HBaseClient.java:638) at org.apache.hadoop.hbase.ipc.HBaseClient.call(HBaseClient.java:1001) at org.apache.hadoop.hbase.ipc.WritableRpcEngine$Invoker.invoke(WritableRpcEngine.java:150) at $Proxy8.getProtocolVersion(Unknown Source) ...... 2012-11-29 12:33:02,282 FATAL org.apache.hadoop.mapred.Child: Error running child : java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/io/HbaseObjectWritable at org.apache.hadoop.hbase.ipc.Invocation.write(Invocation.java:139) at org.apache.hadoop.hbase.ipc.HBaseClient$Connection.sendParam(HBaseClient.java:638) at org.apache.hadoop.hbase.ipc.HBaseClient.call(HBaseClient.java:1001) at org.apache.hadoop.hbase.ipc.WritableRpcEngine$Invoker.invoke(WritableRpcEngine.java:150) at $Proxy8.getProtocolVersion(Unknown Source)
表明hbase中protobuf-java-2.4.0a.jar包没有在集群的classpath中,查看该job的syslog logs "conf classpath =..."确实不存在该包,需要将protobuf-java-2.4.0a.jar包copy至所有节点$HADOOP_HOME/lib下,并需要重启集群(不重启该包不会被加载进classpath)
qq表创建表成功后,打开hbase shell窗口,list查看xx表已经存在。
hive表中插入数据:
insert into table qq select a as key,b as value from test;
分别查看hive中qq表,hbase中xx表数据,都有数据。----表示结合成功。
很多资料包括官网使用insert into table qq select * from test即可导入,但实践证明不成功,可能是hbase及hive版本导致的。
注意:如上sql中test表字段类型必须与qq表字段类型一致,若不一致会报如下异常:
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row {"a":"a","b":"1"} at org.apache.hadoop.hive.ql.exec.MapOperator.process(MapOperator.java:548) at org.apache.hadoop.hive.ql.exec.ExecMapper.map(ExecMapper.java:143) ... 7 more Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: org.apache.hadoop.hive.serde2.SerDeException: HBase row key cannot be NULL at org.apache.hadoop.hive.ql.exec.FileSinkOperator.processOp(FileSinkOperator.java:604) at org.apache.hadoop.hive.ql.exec.Operator.process(Operator.java:471) at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:762) at org.apache.hadoop.hive.ql.exec.SelectOperator.processOp(SelectOperator.java:84) at org.apache.hadoop.hive.ql.exec.Operator.process(Operator.java:471)
hive创建hbase已经存在的表:
CREATE EXTERNAL TABLE te(key string, value1 string,value2 string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = "info:name,info:age") TBLPROPERTIES("hbase.table.name" = "test");
info表示列族,name和age为列族下的两个列。若hbase中还有info:class列,但创建hive关联表使用如上语句,执行select * from te只可得到key,value1、value2的值,即rowkey、name、age,没有class的值。
发表评论
-
security cdh mapreduce access hbase
2014-12-02 15:09 1019执行mapreduce的用户必须是可以访问hdfs相应目录和执 ... -
hive gateway(client) configuration
2014-12-02 14:32 7997配置hive gateway机器 Caused by: Met ... -
hive并行导入数据锁问题
2014-08-26 10:46 2162hive同时load数据时,即使是不同分区,也会lock表, ... -
hive常用命令
2014-08-06 10:59 11873整理一下,用的时候照着贴就行了。 1.hive数据导出 ... -
hive执行时找不到文件
2014-03-03 12:57 7536hive计算时找不到文件 2014-03-03 11:13:3 ... -
hive hive.optimize.ppd=false导致map数量很大
2014-01-03 11:05 1838hive官方https://cwiki.apache.org/ ... -
HBase数据查询之Coprocessor
2013-12-20 16:41 3230二级索引方案 协处理器的概念、作用和类型不介绍,可以 ... -
HBase数据查询之常规查询
2013-12-20 16:40 2734简述 订单常规查询用到的字段可能有:店铺id、订单创建时间( ... -
hello hbase
2013-04-22 17:57 3368前言 近半年本人主要在倒腾数据,遇到海量数据去重的难题,曾经尝 ... -
hbase 双网卡 多网卡
2012-12-06 14:09 1633官方issue未解决,不支持多网卡 https://issue ... -
hive结合hbase数据处理解决方案测评二(优化篇)
2012-12-06 09:41 6509接上一篇,对hbase参数进行优化,主要是调整与查询效率相关的 ... -
python hbase
2012-12-04 17:20 2167需求 将文本数据导入至hbase中。 安装thrift 下载 ... -
hive结合hbase数据处理解决方案测评
2012-12-03 17:19 5144前言 我们考虑为什么要将hive与hbase结合,出于hbas ... -
java.lang.ClassNotFoundException: org.apache.hadoop.hive.hbase.HBaseSplit
2012-12-03 11:19 5003hive关联hbase表,使用sele ... -
hive rank 测试
2012-11-30 11:18 3453前言 最近在做数据的去重,想到一种类似于关系型数据库rank函 ... -
sqoop hbase导入并与hive结合
2012-11-29 17:23 5351sqoop语句 以tid为主键,info为列族 sqoop i ... -
Number of dynamic partitions RemoteException LeaseExpiredException
2012-11-29 09:41 2485hive做大数据处理时,遇到如下异常: [Fatal Er ... -
hbase搭建
2012-11-27 11:43 3061前置条件 hadoop环境运行正常。 步骤 下载hba ... -
hive SQL调用python脚本遇到的几个问题
2012-11-21 09:07 5190sql调用python获取数据字段个数太多 源码: f ... -
搭建hive的eclispe调试环境(ubuntu)
2012-11-20 14:02 1439svn check out hive 工程 图1 将相关jav ...
相关推荐
2. rowkey设计上需要注意,尽量使rowkey均匀分布在预分配的N个Region上 3. 通过set hbase.client.scanner.cachi
1、内容概要:Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南(详细搭建步骤+实践过程问题总结)。 2、适合人群:大数据运维、大数据相关技术及组件初学者。 3、...
配置hive-0.9.0和hbase-0.94.1结合使用,部分内容如下: 1.拷贝hbase-0.94.1.jar和zookeeper-3.4.3.jar到hive/lib下。 注意:如hive/lib下已经存在这两个文件的其他版本,建议删除后使用hbase下的相关版本。 //...
Apache Phoenix是构建在HBase之上的关系型数据库层,作为内嵌的客户端JDBC驱动用以对...直接使用HBase的API,结合协处理器(coprocessor)和自定义的过滤器的话,小范围的查询在毫秒级响应,千万数据的话响应速度为秒级
针对本次实验,我们需要用到Hadoop集群作为模拟大数据的分析软件,集群环境必须要包括,hdfs,hbase,hive,flume,sqoop等插件,最后结合分析出来的数据进行可视化展示,需要用到Python(爬取数据集,可视化展示)...
针对本次实验,我们需要用到Hadoop集群作为模拟大数据的分析软件,集群环境必须要包括,hdfs,hbase,hive,flume,sqoop等插件,最后结合分析出来的数据进行可视化展示,需要用到Python(爬取数据集,可视化展示)...
HBase可以与hadoop-0.20-2较好组合,与hive0.6版本也结合较好
主要讲述了HBase详细的架构原理及特点、HBase内部各个角色的详细介绍、安装配置、HBase的Shell操作、新旧版本的读写数据详细流程、HBase的API操作、使用MapReduce以及Hive对HBase数据分析、Rowkey设计、预分区设计、...
主要讲述了HBase详细的架构原理及特点、HBase内部各个角色的详细介绍、安装配置、HBase的Shell操作、新旧版本的读写数据详细流程、HBase的API操作、使用MapReduce以及Hive对HBase数据分析、Rowkey设计、预分区设计、...
精心规划,课程涵盖Hadoop大数据... 企业案例,理论与实际相结合,技术与操作同进行,学以致用,止于至善。 从内到外理解大数据各种技术,HBase,Hive,Pig,Zookeeper等等技术源码级传授,从无到有掌握Hadoop技术。
在本文中,我将结合SQL、Hadoop、Drill、RESTwithJSON、NoSQL及HBase等技术,讨论并展示如何使用DrillRESTAPI来查询HBase和Hive。同时我也会分享一个使用DrillRESTAPI的简单jQuery客户端,利用J
主要讲述了HBase详细的架构原理及特点、HBase内部各个角色的详细介绍、安装配置、HBase的Shell操作、新旧版本的读写数据详细流程、HBase的API操作、使用MapReduce以及Hive对HBase数据分析、Rowkey设计、预分区设计、...
大数据处理与编程实践》在总结多年来MapReduce并行处理技术课程教学经验和成果的基础上,与业界著名企业Intel公司的大数据技术和产品开发团队和资深工程师联合,以学术界的教学成果与业界高水平系统研发经验完美结合,...
《Hadoop权威指南(第2版)(修订•升级版)》从Hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍Hadoop这一高性能处理海量数据集的理想工具。全书共16章,3个附录,涉及的主题包括:Haddoop简介;MapReduce...
数据存储与管理: ⼤数据利⽤分布式⽂件系统HDFS、HBase、Hive,实现对结构化、半结构化和⾮结构化数据的存储和管理。 数据处理与分析: 利⽤分布式并⾏编程模型和计算框架,结合机器学习和数据挖掘算法,实现对...
存储模块:搭建和配置HDFS分布式存储系统,并Hbase和MySQL作为备用方案。 ETL模块:加载原始数据,清洗,加工,为模型训练模块 和 推荐模块 准备所需的各种数据。 模型训练模块:负责产生模型,以及寻找最佳的模型...
针对GAC-RDB分类算法只能应用于单机版数据仓库的局限性, 为了能够更方便、快捷地在云计算平台上开展数据挖掘工作, 基于分布式数据仓库HBase, 结合GAC-RDB分类算法的实现机理, 制定适合分布式平台的运行策略, 使用...