在Hadoop1.2.1分布式集群环境下安装hive0.12
● 前言:
1. 大家最好通读一遍过后,在理解的基础上再按照步骤搭建。
2. 之前写过两篇<<在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境>>、《在Hadoop1.2.1分布式集群环境下安装Mahout0.9框架》都是Hadoop家族一系列的,后续还会有其它内容,敬请期待!
3. 好记性不如烂笔头,最新突然想把自己学习的东西整理出来,然而我也是刚刚学习,而且水平有限,难免会错误,请谅解并指正,如有什么问题可以留言咨询。
一、推荐阅读文章
《在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境》
《在Hadoop1.2.1分布式集群环境下安装Mahout0.9框架》
二、前提条件
Hadoop1.2.1分布式集群环境搭建成功,并且Hadoop集群服务器正常运行。
三、所需环境与软件
1. Hadoop分布式集群环境:
见《在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境》。
2. Hive0.12: hive-0.12.0.tar.gz
四、安装与配置
1. 下载hive-0.12.0.tar.gz,并使用以下命令解压。
tar -zxvf hive-0.12.0.tar.gz
解压后文件夹为:hive-0.12.0
2. 移动hive-0.12.0到opt目录下,命令如下。
sudo mv hive-0.12.0 /opt/hive-0.12.0
3. 设置hive的环境变量
如(图1)所示,使用命令 sudo gedit /etc/profile 打开文件后,在文件最后面加入:
export HIVE_HOME=/opt/hive-0.12.0
export CLASSPATH=${CLASSPATH}:${HIVE_HOME}/lib
export PATH=${PATH}:${HIVE_HOME}/bin
(图1)
备注:最后要使用命令:source /etc/profile 使环境变量立即生效。
4. 创建hive-env.sh、hive-site.xml文件,如(图2)所示。
cd /opt/hive-0.12.0/conf
cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
(图2)
5. 修改hive-env.sh文件,如(图3)所示。
HADOOP_HOME=/opt/hadoop-1.2.1
export HIVE_CONF_DIR=/opt/hive-0.12.0/conf
(图3)
6. 修改hive-site.xml文件,如(图4,图5)所示。
有两处需要修改的:
(1) hive-site.xml文件最后面,大约2000行作业,把
<value>auth</auth>修改为<value>auth</value>。
(图4)
(2) 把hive.metastore.schema.verification=true,修改为
hive.metastore.schema.verification=false。
意思是:(强制metastore的schema一致性,开启的话会校验在metastore中存储的信息的版本和hive的jar包中的版本一致性,并且关闭自动schema迁移,用户必须手动的升级hive并且迁移schema,关闭的话只会在版本不一致时给出警告,默认是false不开启.)
(图5)
备注:如果不修改成false的话会报一下错误:
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
7. 到此hive安装完成,下面运行和测试下是否安装成功。
五、运行和测试
1. 使用 start-all.sh 命令启动hadoop集群,并使用jps查看是否启动成功,如(图6)所示。
(图6)
2. 首次使用的时候,需要使用 hive --service cli 命令,来启动hive命令行模式,如(图7)所示。
然后使用命令:
show tables;
create table test1(id int,name string);
select * from test1;
drop table test1;
来测试HiveQL是否能使用。
(图7)
备注:首次如果不使用hive --service cli 命令,来启动hive命令行模式,会报如下错误:
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
再次使用的时候就不需要使用hive --service cli 命令了。
3. 如果出现如(图7)所示页面,说明运行和测试成功。
备注:可以使用以下命令使报错更详细一点:
hive -hiveconf hive.root.logger=DEBUG,console
2014年3月8日
相关推荐
用于生产环境的hadoop2.2.0和hbase0.96.2、hive0.12的集成安装 经过测试环境
hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结
Hadoop2.2.0+HBase.96+Hive0.12简单集群环境的搭建
hadoop集群配置之———hive安装与配置(超详细)
大数据笔记,包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记,包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK...... 大数据笔记,包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK.......
hadoop2.2 hbase0.96 hive0.12安装整合详细高可靠文档及经验总结
NULL 博文链接:https://cctype.iteye.com/blog/2035323
Hadoop课程实验和报告——Hadoop安装实验报告
hadoop集群配置之————flume安装配置(详细版)
大数据框架组件 含Hadoop、Spark、Flink等大数据书籍 一、Hadoop 1. Hadoop——分布式文件管理系统HDFS ... 3.Hive——Hive DDL数据定义 4.Hive——Hive DML数据操作 5.Hive——Hive查询
Hive2——Hive和Hadoop关系.pdf 学习资料 复习资料 教学资源
Hadoop课程实验和报告——MPI安装和测试实验报告
Hadoop+ZooKeeper+HBase+hive(HQL)安装步骤
Hadoop伪分布下的hive安装及错误的更改
Hadoop课程实验和报告——Apriori算法并行实现
Hadoop课程实验和报告——K-Means算法并行实现
Hadoop课程实验和报告——Apriori算法并行实现.rar
win10下搭建Hadoop(jdk+mysql+hadoop+scala+hive+spark),包括jdk的安装、mysql安装和配置,hadoop安装和配置,scala安装和配置,hive安装和配置,spark安装和配置。
Hadoop课程实验和报告——每年申请美国专利的国家数统计
Hadoop2.9.2和hive2.3.4在windows下安装所需执行文件 安装教程参考链接 https://blog.csdn.net/a1041646584/article/details/88392714