同前几篇文章一样,这里不打算介绍任何关于HIVE的文章。
HIVE配置
做一只勤劳地小蜜蜂,幸福才能揽入怀中——黄渤。
为了让这只勤劳地小蜜蜂飞翔起来,我们需要
-
搭建Hadoop环境.
-
tar -zxf /mnt/hgfs/PublicData/hive-0.6.0-bin.tar.gz -C /tmp
cp –R /tmp/hive-0.6.0-bin ~/hive-0.6.0
-
配置环境变量及HIVE。
-
修改~/.bashrc,最末尾加入(具体值根据实际情况确定):
export JAVA_HOME=/usr/java/jdk1.7.0_51
export HADOOP_HOME=/home/hadoop/hadoop-0.20.2
export HIVE_HOME=/home/hadoop/hive-0.6.0
export PATH=$HIVE_HOME/bin/:$PATH
-
修改$HIVE_HOME/bin/hive-config.env,加入(或修改):
export HIVE_LIB=$HIVE_HOME/lib
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HIVE_AUX_JARS_PATH=$HIVE_AUX_JARS_PATH
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/hbase/hbase-0.20.3.jar:$HABSE_HOME/hbase-config:$ZOOKEEPER/zookeeper-3.2.2.jar
-
在$HIVE_HOME/conf下新建hive-site.xml,内容如下:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.100.1.213:3306/hive_test?createDatabaseIfNotExist=true;characterEncoding=UTF-8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>root</value>
</property>
<property>
<name>datanucleus.fixedDatastore</name>
<value>false</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/home/hadoop/hadoop-data/data/hive</value>
</property>
<property>
<name>hive.exec.scratchdir</name>
<value>/home/hadoop/hadoop-data/temp</value>
</property>
<property>
<name>datanucleus.fixedDatastore</name>
<value>false</value>
</property>
</configuration>
说明:细心的你想必已经看出来了:上面配置了HIVE的数据存放目录和元数据库( MYSQL)的连接信息。Mysql安装略,我的实在win上面呢。
-
在HDFS中创建HIVE的数据目录,并且设置权限为777。
~/hadoop-0.20.2/bin/hadoop fs -mkdir ~/hadoop-data/data/hive
~/hadoop-0.20.2/bin/hadoop fs -chmod -R 777 ~/hadoop-data/data/hive
- 复制mysql驱动jar到$HIVE_HOME/lib下。
-
重启linux,启动Hadoop,启动HIVE:
hive
如果你没有看到异常,并且终端提示:
开启你奇妙的HIVE之旅吧- -
分享到:
相关推荐
hive介绍和hive环境搭建。。一、 安装mysql 1. 使用root用户: su root 2. 安装 yum install mysql yum install mysql-server yum install mysql-devel(可选) 3. 修改配置信息,添加: vim /etc/my.cnf ...
新手学习大数据搭建环境所需要安装资料包,其中包括hive-mysql安装包,HIVE连接mysql驱动。其中包括 apache-hive-1.2.1-bin.tar.gz MySQL-client-5.6.24-1.el6.x86_64.rpm mysql-connector-java-5.1.27.tar.gz MySQL-...
手把手教你进行mac搭建hadoop和hive环境
适合新手,详细 01-Java环境安装 02- Eclipse下载与安装 03-VMware虚拟机的安装 04-在VMware中安装CentOS 05- Hadoop集群+ Hive+ MySQL搭建
hadoop上搭建hive成功后,连接mysql
win10下搭建Hadoop(jdk+mysql+hadoop+scala+hive+spark),包括jdk的安装、mysql安装和配置,hadoop安装和配置,scala安装和配置,hive安装和配置,spark安装和配置。
java连接MySQL的驱动包,用于Hive环境搭建
hive1.2.1用mysql作为元数据库搭建DT-大数据 大数据学习可以了解一下
Linux 搭建Hive链接mysql教程 适用搭建hadoop,配置环境使用
主要功能和技术说明如下: (1)Flume数据采集,HDFS数据储存 (2)hive数据仓库分层设计,包含ODS、DWD、ADS层 ...(6)基于Cenots7 搭建虚拟机,配置Hadoop、HDFS、Hive、sqoop、flume、mysql等大数据组件。
第7集:安装配置hive-2.1.1 合计8集: ...2、安装配置jdk1.8 3、安装配置hadoop-2.7.7 4、安装配置mysql-5.5.44 5、安装配置scala-2.11.8 6、安装配置hbase-1.3.6 7、安装配置hive-2.1.1 8、安装配置spark(进行中
流程图
hadoop环境搭建,涉及zookeeper、hbase、hive、mysql、kafka等服务的搭建测试运用。
自己整理的Hadoop环境的一些安装,和一些简单的使用,其中包括Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume。都是一些简单的安装步骤和使用,只在自己的虚拟机(Linux centOS7)上使用测试过。按照步骤一步...
1、内容概要:Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南(详细搭建步骤+实践过程问题总结)。 2、适合人群:大数据运维、大数据相关技术及组件初学者。 3、...
ubantu安装hive环境。亲测编写,步骤描写说明详细,非常适合大数据爱好者搭建Hive环境。包括:mysql安装和说明,hive配置,hive启停服务等。
用于数据仓库搭建和MySQL安装对应的jar包,用于sqoop的安装
centos7中java8+mysql80+hadoop3.2.4集群+hive3.1.2从0开始搭建(仅供参考)
MySQL Driver ,搭建 Hive1.2 连接 MySQL 使用
安装MySQL 68 Hive安装 70 Redis安装和使用 74 MongoDB安装和使用 83 Neo4j安装和使用 96 安装Spark 103 使用 Spark Shell 编写代码 104 Scala独立应用编程 106 Java独立应用编程 109 使用Eclipse编写Spark...