hadoop hive hbase 生态系统整合
1 hive hbase 整合需要hive_hbase-handler.jar,目前的整合对版本搭配很敏感。
而我所使用的是 hadoop-0.20.2 + hive-0.6.0 + hbase-0.20.3
2 download hbase-0.20.3
tar hbase-0.20.3
3 config hbase-0.20.3
hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://hostname:9090/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/data/hbas/zookeeper/property/dataDir</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hostname</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2222</value>
</property>
<property>
<name>hbase.regionserver.lease.period</name>
<value>180000</value>
</property>
regionservers
略
hbase-env.sh
略
为了确保版本一直把hbase-0.20.3.jar 以及zookeeper.3.2.2.jar 覆盖 到 hive/lib/ 下
4 config hive
在hive-site.xml 追加 如下配置:
<property>
<name>hive.aux.jars.path</name>
<value>file:///usr/local/hive/lib/hive_hbase-handler.jar,file:///usr/local/hive/lib/hbase-0.20.3.jar,file:///usr/local/hive/lib/zookeeper-3.2.2.jar</value>
</property>
5 config hadoop
在hadoop-site.xml 追加如下配置:
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4906</value>
</property>
6 把 hbase-site.xml cp 到 hive/conf hadoop/conf 下
7 为确保hbase与hadoop 配置一样,应该要把hadoop-site.xml cp到 hbase/conf/下
bin/hive -hiveconf hbase.zookeeper.quorum=hostname
启动
分享到:
相关推荐
Hadoop Hive HBase Spark Storm概念解释
Hadoop Hive与Hbase整合配置
小牛学堂-大数据24期-04-Hadoop Hive Hbase Flume Sqoop-12天适合初学者.txt
hadoop hive hbase安装过程
Hadoop hbase hive sqoop集群环境安装配置及使用文档
hadoop,hbase,hive版本整合兼容性最全,最详细说明【适用于任何版本】,避免下载后才发现不兼容的坑
spark学习 hadoop hive hbase flink教程 linux 从入门到精通 一个开源、成体系的大数据学习教程。spark学习 hadoop hive hbase flink教程 linux 从入门到精通 一个开源、成体系的大数据学习教程。spark学习 hadoop ...
HADOOP+HBASE+HIVE整合工程和文档
全套的Hadoop+Hbase+Spark+Hive搭建指导手册
包含了大量的hadoop hive hbase学习资料
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
该文档保护了目前比较流行的大数据平台的原理过程梳理。Hadoop,Hive,Hbase,Spark,MapReduce,Storm
很多刚入门的同学找不到版本对应关系,这里从官网整理下来,供大家参考 hadoop、hbase、hive版本对应关系.新手指导hadoop、hbase、hive版本对应关系查找表
hadoop+hbase+hive集群搭建
hadoop2.2 hbase0.96.2 hive 0.13.1整合部署 本人亲测,用了一个月终于搞定,内容绝对详实。
Centos+Hadoop+Hive+HBase
hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结
hadoop,hbase,hive版本整合兼容性最全,最详细说明【适用于任何版本】 -
Hadoop,HBase,Hive,HDFS视频,共44集(完整全套)!!
Hadoop+HBase+Hive+lucene分布式搜索引擎分析系统