`

HIVE环境搭建(HIVE连接 MYSQL)

阅读更多

同前几篇文章一样,这里不打算介绍任何关于HIVE的文章。

HIVE配置

做一只勤劳地小蜜蜂,幸福才能揽入怀中——黄渤。

为了让这只勤劳地小蜜蜂飞翔起来,我们需要

  1. 搭建Hadoop环境.
  2. 下载并解压hive到/home/hadoop下。

    tar -zxf /mnt/hgfs/PublicData/hive-0.6.0-bin.tar.gz -C /tmp

    cp –R /tmp/hive-0.6.0-bin ~/hive-0.6.0

  3. 配置环境变量及HIVE。
    1. 修改~/.bashrc,最末尾加入(具体值根据实际情况确定):

      export JAVA_HOME=/usr/java/jdk1.7.0_51

      export HADOOP_HOME=/home/hadoop/hadoop-0.20.2

      export HIVE_HOME=/home/hadoop/hive-0.6.0

      export PATH=$HIVE_HOME/bin/:$PATH

    2. 修改$HIVE_HOME/bin/hive-config.env,加入(或修改):

      export HIVE_LIB=$HIVE_HOME/lib

      export HIVE_CONF_DIR=$HIVE_HOME/conf

      export HIVE_AUX_JARS_PATH=$HIVE_AUX_JARS_PATH

      export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/hbase/hbase-0.20.3.jar:$HABSE_HOME/hbase-config:$ZOOKEEPER/zookeeper-3.2.2.jar

    3. 在$HIVE_HOME/conf下新建hive-site.xml,内容如下:

      <?xml version="1.0"?>

      <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

      <configuration>

      <property>

      <name>hive.metastore.local</name>

      <value>true</value>

      </property>

      <property>

      <name>javax.jdo.option.ConnectionURL</name>

      <value>jdbc:mysql://192.100.1.213:3306/hive_test?createDatabaseIfNotExist=true;characterEncoding=UTF-8</value>

      </property>

      <property>

      <name>javax.jdo.option.ConnectionDriverName</name>

      <value>com.mysql.jdbc.Driver</value>

      </property>

      <property>

      <name>javax.jdo.option.ConnectionUserName</name>

      <value>root</value>

      </property>

      <property>

      <name>javax.jdo.option.ConnectionPassword</name>

      <value>root</value>

      </property>

      <property>

      <name>datanucleus.fixedDatastore</name>

      <value>false</value>

      </property>

      <property>

      <name>hive.metastore.warehouse.dir</name>

      <value>/home/hadoop/hadoop-data/data/hive</value>

      </property>

      <property>

      <name>hive.exec.scratchdir</name>

      <value>/home/hadoop/hadoop-data/temp</value>

      </property>

      <property>

      <name>datanucleus.fixedDatastore</name>

      <value>false</value>

      </property>

      </configuration>

      说明:细心的你想必已经看出来了:上面配置了HIVE的数据存放目录和元数据库( MYSQL)的连接信息。Mysql安装略,我的实在win上面呢。

    4. 在HDFS中创建HIVE的数据目录,并且设置权限为777。

      ~/hadoop-0.20.2/bin/hadoop fs -mkdir ~/hadoop-data/data/hive

      ~/hadoop-0.20.2/bin/hadoop fs -chmod -R 777 ~/hadoop-data/data/hive

    5. 复制mysql驱动jar到$HIVE_HOME/lib下。
    6. 重启linux,启动Hadoop,启动HIVE:

      hive

      如果你没有看到异常,并且终端提示:

      开启你奇妙的HIVE之旅吧- -

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics