1.1 解压缩Hive
将Hive的tar包解压到/opt目录下:
tar –zxvf hive-0.7.1-cdh3u3.tar.gz
解压缩后的Hive目录如下:
其中bin目录下是一些可执行的脚本文件,在conf下是相关的配置文件,也是我们要修改的主要地方,lib下是一些相关的jar包,包括mysql的连接包、hbase的包等都会放到lib下。
将Hive的安装路径添加到path环境变量中。
以及
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HIVE_LIB=$HIVE_HOME/lib
在/etc/profile文件中添加上述代码,source使之生效。
1.2 创建Hive的目录
在hdfs中创建Hive的目录,命令如下:
[hdfs@sdc0 bin]$ ./hadoop fs -mkdir /tmp
[hdfs@sdc0 bin]$ ./hadoop fs -mkdir /usr/hive/warehouse
[hdfs@sdc0 bin]$ ./hadoop fs -chmod g+w /tmp
[hdfs@sdc0 bin]$ ./hadoop fs -chmod g+w /usr/hive/warehouse
1.3 conf/hive-site.xml
这个文件主要用于配置Hive的一些配置参数。文件中的内容也是主要以property键值对的形式存在,主要有一下五种键:
hive.metastore.local 设置元数据信息的存放位置,如果采用mysql等第三方数据库时,设置为true,本文档编写时采用的就是mysql;
本文档中设置为true
javax.jdo.option.ConnectionURL 设置数据库的连接信息;
本文档中设置为
jdbc:mysql://10.28.171.38:3306/hiveTestDB?createDatabaseIfNotExist=true
javax.jdo.option.ConnectionDriverName 设置数据库的驱动信息;
本文档中设置为:com.mysql.jdbc.Driver
javax.jdo.PersistenceManagerFactoryClass设置数据持久化的类;
本文档中设置为:org.datanucleus.jdo.JDOPersistenceManagerFactory
javax.jdo.option.DetachAllOnCommit设置是否从session中把对象分离出来;本文档中设置为true;
javax.jdo.option.NonTransactionalRead 设置 是否允许事务外的数据对象访问;本文档中设置为true;
javax.jdo.option.ConnectionUserName 设置数据库的用户名;
本文档中设置为:hive
javax.jdo.option.ConnectionPassword 设置数据库的用户密码;
本文档中设置为:hive
hive.querylog.location设置日志的保存位置,如果不设置,将默认保存在/tmp/<user.name>/hive.log里。
hive.aux.jars.path设置运行hive时需要额外加载的一些相关的包,如果不设置的话,在执行insert或者跟mapreduce、hbase相关的操作时会报错。
本文档中设置为:
file:///opt/hive-0.7.1-cdh3u3/lib/hive-hbase-handler-0.7.1-cdh3u3.jar,file:///opt/hive-0.7.1-cdh3u3/lib/hbase-0.94.1-security.jar,file:///opt/hive-0.7.1-cdh3u3/lib/zookeeper-3.4.3.jar,file:///opt/hive-0.7.1-cdh3u3/lib/protobuf-java-2.4.0a.jar
即,把lib目录下的这四个jar包加载进来。其中,hbase-0.94.1-security.jar在habse安装目录中;zookeeper-3.4.3.jar在zookeeper安装目录中;protobuf-java-2.4.0a.jar在hbase安装目录中的lib下,此包是和hbase相关联时通信用。
1.4 配置数据库
一般都采用第三方数据库比如mysql等存储元数据信息,而不用hive自带的derby数据库。安装mysql数据库可采用如下命令:
yum install mysql-server
安装完成后,利用如下命令启动:
/etc/init.d/mysqld start
现在要创建我们前面在hive-site.xml文件中用到的数据库和用户名了。
以root用户登录mysql之后执行:
CREATE USER ‘hive’@'localhost’ IDENTIFIED BY ‘hive’;
或者在数据库mysql的user表中插入:
insert into mysql.user(Host,User,Password) values(‘%’,'hive’,password(‘hive’));
执行上述命令之后都需要执行:
flush privileges;
使命令之生效。之所以host键的值填“%”,这是因为我们要从别的机器连接mysql,如果设置为localhost,就被会本机拒绝连接。除了设置为“%”之外,还可以设置为需要连接mysql的主机的ip地址。
有了相应的hive用户,下面就创建可以被hive用户操作的数据库了。在root用户下创建数据库hiveTestDB:
create database hiveTestDB;
此时的hiveTestDB数据库时属于root的,现在利用命令将hiveTestDB的使用权限给hive用户:
grant all privileges on hiveTestDB.* to hive identified by ‘hive’ with grant option;
还是要使用命令:
flush privileges;
使之生效。
1.5 Hive的lib配置
将hadoop目录下的hadoop-core-0.20.2-cdh3u3.jar包、mysql数据库的mysql-connector-java-5.1.21-bin.jar包和
mysql-connector-java-5.1.6.jar包放入Hive的lib目录下。
1.6 Hive的启动
Hive启动的时候像Hadoop一样,也是在bin目录下,bin的目录结构如下:
目录结构比较简单,在启动的时候需要运行hive脚本,可以直接ctrl+c组合键退出。启动Hive
在Hive的bin的目录下输入命令:
hive
即可进入hive的环境。
相关推荐
3.集群能正常运行的条件是集群可节点宕机数应保证有超过集群机器总数一半的机器在运行,因此从经济和实用性来说,集群的节点一般是奇数个,本文部署4台机器,其容灾能力与部署3台机器一致,即只能宕机1台
1、内容概要:Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南(详细搭建步骤+实践过程问题总结)。 2、适合人群:大数据运维、大数据相关技术及组件初学者。 3、...
hive安装
描述基于CentOS7的Hadoop2.7.7集群部署+hive3.1.1+Tez0.9.1的环境搭建
Hadoop hbase hive sqoop集群环境安装配置及使用文档
win10下搭建Hadoop(jdk+mysql+hadoop+scala+hive+spark),包括jdk的安装、mysql安装和配置,hadoop安装和配置,scala安装和配置,hive安装和配置,spark安装和配置。
VM虚拟机上,安装ubantu搭建hadoop+Hive集群,步骤详细。
安装mysql(mariadb) yum安装 yum install mariadb-server yum install -y mysql-connector-java 设置开机启动并配置 systemctl start mariadb # 开启服务 systemctl enable mariadb # 设置为开机自启动服务 mysql_...
Hadoop-2.8.0-HA-Hive安装部署与HQL06.hive的安装和基本使用.mp4
Hadoop-2.8.0-HA-Hive安装部署与HQL07.hive.mp4
Hadoop+Zookeeper+Hbase+Hive部署
根据项目实际搭建测试开发环境,包括hadoop hbase hive的详细搭建过程
基于Hadoop部署实践对网站日志分析 1. 项目概述 本次要实践的数据日志来源于国内某技术学习论坛,该论坛由某培训机构主办,汇聚了众多技术学习者,每天都有人发帖、回帖。至此,我们通过Python网络爬虫手段进行数据...
基于CentOS7的Hadoop2.7.7集群部署+Hive1.2.2+Zookeeper3.4.14集群+hbase1.x+kylin2.5.0环境搭建,以及一个简单的kylin案例介绍
从零开始hadoop+zookeeper+hbase+hive集群安装搭建,内附详细配置、测试、常见error等图文,按照文档一步一步搭建肯定能成功。(最好用有道云打开笔记)
最近在研究Hadoop Hive,在度娘找了几百几千份文档,拼凑起来才勉强部署好,太耗时,太耗时,太耗时 现在我整理好我过程中的每一个步骤,供大家一起学习共勉。
大数据离线分析系统,基于hadoop的hive以及sqoop的安装和配置
Hadoop-2.8.0-HA-Hive安装部署与HQL05.mysql的安装详细步骤.mp4
win hive+hadoop 部署
Hadoop-2.8.0-HA-Hive安装部署与HQL08.hive的脚本化运行使用方式.mp4