将对
hbase-0.90.6
和
hive-0.8.1
进行集成,使用的
hadoop-0.20.2
1.
首先将
hbase-0.90.6.jar
和
zookeeper-3.3.2.jar
复制到
hive/lib
目录下
注意:如果
hive/lib
下已经存在这两个文件的其他版本(例如
zookeeper-3.3.1.jar
),建议删除后使用
hbase
下的相关版本
2.
在
hive/conf
下
hive-site.xml
文件中添加如下的内容:
<property>
<name>hive.aux.jars.path</name>
<value>file:///home/hadoop/hadoop/hive-0.8.1/lib/hive-hbase-handler-0.8.1.jar,file:///home/hadoop/hadoop/hive-0.8.1/lib/hbase-0.90.6.jar,file:///home/hadoop/hadoop/hive-0.8.1/lib/zookeeper-3.3.2.jar</value>
</property>
这个需要根据自己的具体文件路径指定
3.
拷贝
hbase-0.90.6.jar
到所有
hadoop
节点
(
包括
master)
的
hadoop/lib
下
4.
拷贝
hbase/conf
下的
hbase-site.xml
文件到所有
hadoop
节点
(
包括
master)
的
hadoop/conf
下
5.
单结点启动
hive
,伪分布式属于单结点:
bin/hive
-hiveconf hbase.master=localhost:60000
集群启动:
bin/hive
-hiveconf hbase.zookeeper.quorum=slave
如何
hive-site.xml
文件中没有配置
hive.aux.jars.path
,则可以按照如下方式启动。
bin/hive
--auxpath /usr/local/hive/lib/hive-hbase-handler-0.8.0.jar,
/usr/local/hive/lib/hbase-0.90.5.jar,
/usr/local/hive/lib/zookeeper-3.3.2.jar
-hiveconf
hbase.zookeeper.quorum=slave
6.
创建
hbase
识别的数据,这个操作在
hive
下进行:
create
table hive_hbase(key string,age int,sex int) STORED BY
'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with
SERDEPROPERTIES("hbase.columns.mapping" =
":key,cf1:age,cf1:sex")tblproperties("hbase.table.name"
= "hbase_hive");
7.
在
hbase
下面查看数据:
list
8.
创建临时表
person
:
create
table person(name string, age int, sex int) row format delimited
fields terminated by '\t' stored as textfile;
9.
往临时表中添加数据:
load
data local inpath '/home/hadoop/Desktop/data.txt' overwrite into
table person;
10.
往
hive_hbase
表中添加数据:
insert
overwrite table hive_hbase select * from person;
11.
查看表中数据:
select
* from person limit 5;
12.hbase
中查看数据:
scan
'hbase_hive'
分享到:
相关推荐
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
Hadoop Hive与Hbase整合配置
hadoop,hbase,hive版本整合兼容性最全,最详细说明【适用于任何版本】,避免下载后才发现不兼容的坑
Hive与Hbase的整合,集中两者的优势,使用HiveQL语言,同时具备了实时性
HADOOP+HBASE+HIVE整合工程和文档
hadoop2.2 hbase0.96.2 hive 0.13.1整合部署 本人亲测,用了一个月终于搞定,内容绝对详实。
配置,测试,导入数据详细操作,CREATE TABLE hive_hbase_table(key int, value string,name string) hadoop jar /usr/lib/hbase/hbase-0.90.4-cdh3u3.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY, catgyname...
hadoop,hbase,hive版本整合兼容性最全,最详细说明【适用于任何版本】 -
此文档是本人在工作中用到的知识总结出来的整合过程,本人是菜鸟,希望得到大神们的建议。
hive与hbase整合经验谈
mapreduce方式入库hbase hive hdfs,速度很快,里面详细讲述了代码的编写过程,值得下载
hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结
个或多个维表没有直接连接到事实表上,而是通过其他维表连接到事实表上时,其图解就像多个雪花连接在一起,故称雪花模型。雪花模型是对星型模型的扩展。它对星型模型的维表进一步层次化,原有的各维表可能被扩展为小...
hadoop2.2 hbase0.96 hive0.12安装整合详细高可靠文档及经验总结
2. rowkey设计上需要注意,尽量使rowkey均匀分布在预分配的N个Region上 3. 通过set hbase.client.scanner.cachi
大数据工具篇之Hive与HBase整合完整教程
Hive与hbase的结构,Hive与hbase整合后的结构图 , Hive与hbase整合的原理
HBase是建立在HDFS上的面上列的数据库。...hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。
0. 重新编译依赖包编译过程参考:- Hive整合Hbase详解删除软链接的命令修改hive-site.xml的配置主要修改zookeeper的配置项,以便能够