`
samuschen
  • 浏览: 398540 次
  • 性别: Icon_minigender_2
  • 来自: 北京
社区版块
存档分类
最新评论

hive 用mysql存储元信息

    博客分类:
  • hive
阅读更多

http://www.tech126.com/hive-mysql-metastore/

Hive默认是采用Derby来存储其Meta信息的,如下:

< property>
 
< name> javax. jdo. OPTION . ConnectionURL</ name>
 
< value> jdbc:derby:// zw- hadoop- master:1527 / metastore_db;create= true</ value>
 
< description> JDBC connect string FOR a JDBC metastore</ description>
 
</ property>
 
 
< property>
 
< name> javax. jdo. OPTION . ConnectionDriverName</ name>
 
< value> org. apache. derby. jdbc. ClientDriver</ value>
 
< description> Driver class name FOR a JDBC metastore</ description>
 
</ property>



我们可以修改一下配置,让Mysql来存储其Meta信息

首先,在Mysql服务器上建立相应的库,并赋权限

create database hivedb;

grant all privileges on hivedb.* to hiveuser@'%' identified by 'hiveuser';

grant all privileges on hivedb.* to hiveuser@'localhost' identified by 'hiveuser';

然后,把mysql-connector-java-5.1.12-bin.jar拷贝到/cq/hive/lib下  //注意这里要从mysql官网下connector的包,不然可能出错

再修改hive-default.xml配置

< property>
 
< name> javax. jdo. OPTION . ConnectionURL</ name>
 
< value> jdbc:mysql:// 192. 168. 95. 25:3306 / hivedb?createDatabaseIfNotExist= true</ value>
 
< description> JDBC connect string FOR a JDBC metastore</ description>
 
</ property>
 
< property>
 
< name> javax. jdo. OPTION . ConnectionDriverName</ name>
 
< value> com. mysql. jdbc. Driver</ value>
 
< description> Driver class name FOR a JDBC metastore</ description>
 
</ property>
 
< property>
 
< name> javax. jdo. OPTION . ConnectionUserName</ name>
 
< value> hiveuser</ value>
 
< description> username TO USE against metastore database</ description>
 
</ property>
 
< property>
 
< name> javax. jdo. OPTION . ConnectionPassword</ name>
 
< value> hiveuser</ value>
 
< description> password TO USE against metastore database</ description>
 
</ property>

 

分享到:
评论

相关推荐

    DataX数据的迁移(MySQL、HDFS,Hive)

    1.数据迁移的过程中,由于hive的Null值存储为"\N",Mysql存储为NULL值,二者转换时需要注意,再数据迁移json模板中,"nullFormat": "\\N", 该配置信息就是解决了数据迁移是存在的Null值。 2.如果hive中没有数值DataX...

    数据仓库hive用到的mysql安装包

    mysql安装包,mysql外界数据库作为存储hive元数据的存储介质,它的存在,方便hive用户根据自身的需求对数据进行分析处理。

    Hadoop+Hive+Mysql安装文档.

    讲解了如何安装基于hive的元数据在远端存储到Mysql的方案,步骤详细适合菜鸟安装使用

    8、NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive

    8、NIFI综合应用场景-NiFi监控MySQL binlog进行实时同步到hive ...本文旨在介绍通过实时监控mysql的binlog实现...本文的前提是hive、mysql、nifi环境可正常使用。 本文分为四部分,即实现流程、处理器说明、操作与验证。

    7、NIFI综合应用场景-将mysql查询出的json数据转换成txt后存储至HDFS中

    7、NIFI综合应用场景-将mysql查询出的json数据转换成txt后存储至HDFS中 网址:https://blog.csdn.net/chenwewi520feng/article/details/130620392 本文是在6、NIFI综合应用场景-离线同步Mysql数据到HDFS中基础上完成...

    Hive用户指南(Hive_user_guide)_中文版.pdf

    2、 Hive 将元数据存储在数据库中,如 mysql 、 derby 。 Hive 中的元数据包括表的名字, 表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。 3、 解释器、编译器、优化器完成 HQL 查询语句...

    【63课时完整版】大数据实践HIVE详解及实战

    6.配置Hive使用MySQL作为元数据库存储 7.Hive中基本命令的使用 8.Hive中常用的属性配置 9.Hive中常用的交互式命令 10Hive中数据库的管理与使用 11.Hive中表的管理与使用 12.Hive中外部表的使用 第2章:Hive 常用DML...

    使用kettle将mysql中的数据导入到hive中

    先说说思路:1是直接从mysql输出至hive中,另外一个是先将数据搞到hdfs中,再load一下,当然这只是textfile存储格式而言,若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表,再insert into table select ...

    分布式数据仓库Hive大全

    1.4 HIVE元数据库 9 1.4.1 DERBY 9 1.4.2 Mysql 10 1.5 HIVE的数据存储 11 1.6 其它HIVE操作 11 2. HIVE 基本操作 12 2.1 create table 12 2.1.1 总述 12 2.1.2 语法 12 2.1.3 基本例子 14 2.1.4 创建分区 15 2.1.5 ...

    Hive用户指南

    1.4 HIVE元数据库 9 1.4.1 DERBY 9 1.4.2 Mysql 10 1.5 HIVE的数据存储 11 1.6 其它HIVE操作 11 2. HIVE 基本操作 12 2.1 create table 12 2.1.1 总述 12 2.1.2 语法 12 2.1.3 基本例子 14 2.1.4 创建分区 15 2.1.5 ...

    hive安装包

    Hive是一个数据仓库,它部署在Hadoop...Hive的语法非常类似于我们的MySQL语句,所以上起手来特别容易。HIve特别神奇的地方是我们只需写一条SQL语句它就会自动转换为MapReduce任务去执行,不用我们再手动去写MapReduce了

    BigData:Sqoop+Hive+MySQL 纽约证券交易所数据集

    使用 sqoop 将此数据从 hive 导出回 mysql 进行报告。 待开发。 用于导入、数据操作和导出的 Oozie 脚本 从 mysql 输出中读取信息并报告数据的 UI。 ================================================== =======...

    Hive与HBase的兼容配置,.zip

    1.我们采用MySQL数据库保存Hive的元数据,而不是采用Hive自带的derby来存储元数据,因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装: 2.MySQL安装完成之后,可用以下命令启动和关闭mysql服务器

    hive远程连接详细配置

    hive远程连接的详细配置,包括远程mysql,远程存储metastore

    简单的hive demo 后续会加入新内容.zip

    1.我们采用MySQL数据库保存Hive的元数据,而不是采用Hive自带的derby来存储元数据,因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装: 2.MySQL安装完成之后,可用以下命令启动和关闭mysql服务器

    Hive是一个基于Hadoop的数据仓库平台.zip

    1.我们采用MySQL数据库保存Hive的元数据,而不是采用Hive自带的derby来存储元数据,因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装: 2.MySQL安装完成之后,可用以下命令启动和关闭mysql服务器

    jdbc2hive:Hive jdbc 存储处理程序

    jdbc2hive特征支持将hive查询中的DB相关条件推送到MySQL 支持仅获取 MySQL 中的必填字段以优化性能支持分场运行多图使用 MySQL 解释估计获取的行现在只支持 MySQL用法建造 $ git clone $ mvn clean -Dmaven.test....

    hive实战笔记. 新零售的从零到应用. 包含所有思路与代码.zip

    1.我们采用MySQL数据库保存Hive的元数据,而不是采用Hive自带的derby来存储元数据,因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装: 2.MySQL安装完成之后,可用以下命令启动和关闭mysql服务器

    基于Shell脚本,通过简单配置后,可以自动安装Hadoop、Hive、Spark等大数据组件.zip

    1.我们采用MySQL数据库保存Hive的元数据,而不是采用Hive自带的derby来存储元数据,因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装: 2.MySQL安装完成之后,可用以下命令启动和关闭mysql服务器

Global site tag (gtag.js) - Google Analytics