Hive部署(包括集成Hbase和Sqoop)
1 安装环境
1.1 系统环境
主要是选择软件版本。
- Hadoop 1.0.3
- Hbase 0.94.0
- Hive 0.8.1
- zookeeper-3.3.5
- Mysql 5.5.28
- JDK 1.6
- Sqoop-1.4.2
1.2 环境变量
- $HDOOP_HOME:/home/hadoop/hadoop
- $HBASE_HOME:/home/hadoop/hbase
- $HIVE_HOME:/home/hadoop/hive
2 下载
http://mirror.bit.edu.cn/apache/hive/hive-0.8.1/
3 解压
tar –xf hive-0.8.1.tar.gz
将解压后的hive-0.8.1文件放在系统的/home/hadoop/hive/中。
mkdir /home/hadoop/hive
mv /home/hadoop/hive-0.8.1 /home/hadoop/hive
4 修改配置文件
4.1 设置HADOOP_HOME
修改hive-0.8.1目录下/conf/hive-env.sh.template中的HADOOP_HOME为实际的Hadoop安装目录。
步骤一:进入/home/hadoop/hive/conf。
cd /home/hadoop/hive/conf
步骤二:复制hive-env.sh.template命名为hive-env.sh。
cp hive-env.sh.template hive-env.sh
步骤三:修改HADOOP_HOME目录为/home/hadoop/hadoop。
vim hive-env.sh
修改完成之后的效果如图所示。
配置设置HADOOP_HOME结束。
4.2 在HDFS中创建/tmp/user/hive/warehouse并设置权限
步骤如下所示:
bin/hadoop fs -mkdir /tmp
bin/hadoop fs -mkdir /user/hive/warehouse
bin/hadoop fs -chmod g+w /tmp
bin/hadoop fs -chmod g+w /user/hive/warehouse
修改完成之后的效果如图所示:
创建/tmp和/user/hive/warehouse结束。
4.3 修改hive-site.xml
hive-site.xml主要配置项说明如下所示:
- hive.metastore.warehouse.dir:数据存放目录,默认路径为/user/hive/warehouse
- hive.exec.scratchdir:临时文件目录,默认路径为/tmp
步骤一:创建hive-default.xml、hive-site.xml
将conf/hive-default.xml.template复制两份,分别命名为hive-default.xml(用于保留默认配置)和hive-site.xml(用于个性化配置,可覆盖默认配置)。命令如下所示:
cd /home/hadoop/hive/conf
cp hive-default.xml.template hive-default.xml
cp hive-default.xml.template hive-site.xml
步骤二:修改hive-site.xml,命令如下所示:
cd /home/hadoop/hive/conf
vim hive-site.xml
下面是hive-site.xml文件的配置示例:
<property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> <description>location of default database for the warehouse </description> </property> <property> <name>hive.exec.scratchdir</name> <value>/tmp</value> <description>Scratch space for Hive jobs</description> </property>
修改hive-site.xml结束。
4.4 测试
在终端输入bin/hive,当你看到“hive>”,那么恭喜你,Hive已经正确安装,可以运行了。
5
5 设置Hive元数据存储
由于Hive的元数据可能要面临不断的更新、修改和读取,所以它显然不适合使用Hadoop文件系统进行存储。目前Hive将元数据存储在RDBMS中,比如MySQL、Derby中。本文选择MySQL。
5.1 连接数据库配置参数
- javax.jdo.option.ConnectionURL:元数据连接字串
- javax.jdo.option.ConnectionDriverName:DB连接引擎
- javax.jdo.option.ConnectionUserName:DB连接用户名
- javax.jdo.option.ConnectionPassword:DB连接密码
5.2 修改hive-site.xml
代码如下所示:
<property> <name>javax.jdo.option.ConnectionURL</name> <value> jdbc:mysql://10.2.0.254:3306/hive?createDatabaseIfNotExist=true </value> <description> JDBC connect string for a JDBC metastore </description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description> Driver class name for a JDBC metastore </description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> <description> username to use against metastore database </description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>exhive</value> <description> password to use against metastore database </description> </property>
5.3 拷贝MySQL的JDBC驱动包
把MySQL的JDBC驱动包(mysql-connector-java-5.1.21.jar)复制到Hive的lib目录下。
Hive元数据配置结束。
5.4 测试
在Hive中创建表成功后,数据库中自动创建表格,即说明配置成功。如图所示:
6
6 Hive集成Hbase
6.1 前置条件及原理
Hadoop、hive和hbase环境搭建完成。Hive与Hbase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive-hbase-handler.jar工具类(Hive Storage Handlers)。
6.2 配置hbase与hive结合包
将hbase-0.94.0.jar 、zookeeper-3.3.5.jar包copy至所有节点$HDOOP_HOME/lib及$HIVE_HOME/lib下。注意$HIVE_HOME/lib含有hbase包需要删除。
将protobuf-java-2.4.0a.jar包copy至所有节点$HADOOP_HOME/lib下,并需要重启集群(不重启该包不会被加载进classpath)。
将hbase-site.xml文件copy至所有节点$HDOOP_HOME/conf下。
6.3 配置hive-site.xml
代码如下所示:
<property> <name>hive.aux.jars.path</name> <value> file:///home/hadoop/hive/lib/hive-hbase-handler-0.8.1jar, file:/// home/hadoop/hive/lib/hbase-0.94.0.jar, file:/// home/hadoop/hive/lib/zookeeper-3.4.5.jar </value> </property>
Hive与hbase集成到这里就结束了。
6.4 测试
1、启动hive,创建表。代码如下:
hive>CREATE TABLE hbase_hive(key string, value string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping"=":key,info:value") TBLPROPERTIES ("hbase.table.name"= "hbase_hive");
创建表成功,表名为:hbase_hive。
2、在hive和hbase查询表hbase_hive是否存在
在hive中:
hive> show tables;
hbase_hive
在hbase中:
hbase(main):004:0> list
TABLE
hbase_hive
Hive和Hbase中都出现了hbase_hive这张表,表明Hive集成Hbase成功。
7
7 安装sqoop
7.1 下载sqoop
http://www.apache.org/dist/sqoop/1.4.2/sqoop-1.4.2.bin__hadoop-0.20.tar.gz
7.2 解压
tar –xf sqoop-1.4.2.bin__hadoop-0.20.tar.gz
将解压后的sqoop-1.4.2.bin__hadoop-0.20文件放在系统的/home/hadoop/sqoop/中。
mkdir /home/hadoop/sqoop
mv /home/hadoop/sqoop-1.4.2.bin__hadoop-0.20 /home/hadoop/sqoop
7.3 修改配置文件
修改sqoop目录下/conf/sqoop-env.sh.template中的HADOOP_HOME和HIVE_HOME安装目录。
步骤一:进入/home/hadoop/sqoop/conf。
cd /home/hadoop/sqoop/conf
步骤二:复制sqoop-env.sh.template命名为sqoop-env.sh。
cp sqoop-env.sh.template sqoop-env.sh
步骤三:修改HADOOP_HOME目录为/home/hadoop/hadoop。
vim sqoop-env.sh
修改完成之后的效果如图所示。
到这里,sqoop就已经安装成功。
如果您认为此文章有用,请点击底端的【顶】让其他人也了解此文章。
此博客为原创,转载请保留此出处,谢谢。http://free9277.iteye.com/blog/1847094
相关推荐
Hadoop hbase hive sqoop集群环境安装配置及使用文档
小牛学堂-大数据24期-04-Hadoop Hive Hbase Flume Sqoop-12天适合初学者.txt
Hadoop+Hive+Mysql+Zookeeper+Hbase+Sqoop详细安装手册
flume、hive和sqoop的实用案例:flume收集日志hive负责处理数据sqoop负责将数据导出到mysql中供页面展示
出现此问题时使用:java.lang.NullPointerException at org.json.JSONObject.(JSONObject.java:144) at org.apache.sqoop.util.SqoopJsonUtil.... at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
mapreduce方式入库hbase hive hdfs,速度很快,里面详细讲述了代码的编写过程,值得下载
将爬取到的滴滴出行相关数据整理后上传存储到Hbase中,然后导入到Hive中并进行数据分析,将数据分析后的结果通过Sqoop导入到Mysql中,最后对数据进行可视化。
叶梓老师整理的Hadoop2.2.0+Hbase0.98.4+sqoop-1.4.4+hive-0.98.1安装手册,非常实用
分享一下Hadoop、HBase、Hive、Pig、Zookeeper相关资料。
大数据系列内部培训经典内容,包括大数据系列架构,大数据Hadoop系列、Spark、Hive、Storm、Hbase、Sqoop......
This book is a practical guide on using the Apache Hadoop projects including ...How to transfer data from MySQL database to Hive, HDFS and HBase with Sqoop How create a Hive table over Apache Solr
尚硅谷 大数据 hive oozie sqoop kalfa flume zk hbase Hadoop
Hadoop权威指南清晰版。包含了HDFS,Hive,MapReduce,HBase,Sqoop等介绍。Hadoop入门必备资料。权威经典书籍。
Hadoop生态圈部署 文档包括: Hadoop HA部署 Zookeeper安装 Hive组件部署 Hbase组件部署 Sqoop组件部署 Flume组件部署 spark组件部署 storm组件部署 kafka组件部署 MongoDB部署 可能会出现差错
Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, ...
hadoop环境搭建,涉及zookeeper、hbase、hive、mysql、kafka等服务的搭建测试运用。
通过Sqoop+Hive+Hbase+Kettle+R一系列软件的简单实用和操作来帮助读者理解这些软件的用法
通过条件查询hbase数据导出csv,文本,html等文件,实现方式:将hbase关联hive,然后将hive数据导入真实表,在将真实表数据导入sql数据库
1.集群配置,包含三个结点,主节点控制所有的子节点 2.集群已经搭建好了,解压之后...3.包含全套组件:hdfs,hbase,hive,sqoop,mysql,pig,spark等大数据组件 4.如果不知道如何使用,或者需要做Hadoop项目可以私信博主