一、环境
Hadoop 0.20.2版本、Hive-0.5.0版本、JDK1.6
二、使用目的
1、一般来说我们对hive的操作都是通过cli来进行,也就是Linux的控制台,但是,这样做本质上是每个连接都存放一个元数据,各个之间都不相同,所以,对于这样的模式我建议是用来做一些测试比较合适,并不适合做产品的开发和应用。
2、因此,就产生的JDBC连接的方式,当然还有其他的连接方式,比如ODBC等。
三、连接的配置
1、修改hive-site.xml
<property>
<name>javax.jdo.option.ConnectionURL</name>
<!--表示使用嵌入式的derby,create为true表示自动创建数据库,数据库名为metastore_db-->
<value>jdbc:derby:;databaseName=metastore_db;create=true</value>
<!--表示使用客服模式的derby,hadoopor为数据库名,192.168.0.3为derby服务端的IP地址,而4567为服务端的端口号-->
<!--<value>jdbc:derby://192.168.0.3:4567/hadoopor;create=true</value>—>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>org.apache.derby.jdbc.EmbeddedDriver</value> 表示使用嵌入式的derby
<!--<value>org.apache.derby.jdbc.ClientDriver</value>--> 表示使用客服模式的derby
<description>Driver class name for a JDBC metastore</description>
</property>
2、对于嵌入式的derby要求在hive的lib目录下有文件derby.jar,而对于客服模式的derby要求有derbyclient.jar文件,这个文件需要自己去下载。
3、配置完成之后,输入hive --service hiveserver,可以启动服。
四、实例代码
主要是通过JDBC连接Hive的源代码。
public class HiveJdbcClient {
private static String driverName = "org.apache.hadoop.hive.jdbc.HiveDriver";
/**
* @param args
* @throws SQLException
*/
public static void main(String[] args) throws SQLException {
try {
Class.forName(driverName);
} catch (ClassNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
System.exit(1);
}
Connection con = DriverManager.getConnection("jdbc:hive://IP:10000/default", "", "");
Statement stmt = con.createStatement();
String tableName = "http_test";
// stmt.executeQuery("drop table " + tableName);
// ResultSet res = stmt.executeQuery("create table " + tableName + " (key int, value string)");
// show tables
String sql = "show tables ";
System.out.println("Running: " + sql);
ResultSet res = stmt.executeQuery(sql);
if (res.next()) {
System.out.println(res.getString(1));
}
// describe table
sql = "describe " + tableName;
System.out.println("Running: " + sql);
res = stmt.executeQuery(sql);
while (res.next()) {
System.out.println(res.getString(1) + "\t" + res.getString(2));
}
// load data into table
// NOTE: filepath has to be local to the hive server
// NOTE: /tmp/a.txt is a ctrl-A separated file with two fields per line
/**
* String filepath = "/tmp/a.txt"; sql = "load data local inpath '" + filepath + "' into table " + tableName;
* System.out.println("Running: " + sql); res = stmt.executeQuery(sql);
*
* // select * query sql = "select * from " + tableName; System.out.println("Running: " + sql); res =
* stmt.executeQuery(sql); while (res.next()) { System.out.println(String.valueOf(res.getInt(1)) + "\t" +
* res.getString(2)); }
*
* // regular hive query sql = "select count(1) from " + tableName; System.out.println("Running: " + sql); res =
* stmt.executeQuery(sql); while (res.next()) { System.out.println(res.getString(1)); }
*/
}
}
五、总结
1、可以参看一下这个连接:http://bbs.hadoopor.com/thread-219-1-3.html
2、wiki的资料,比较权威的,可以看看:http://wiki.apache.org/hadoop/Hive/HiveClient
3、淘宝也有相关的资料,可以看看:http://www.tbdata.org/archives/499
4、文档比较粗糙,有疑问可以发邮件交流:dajuezhao@gmail.com
分享到:
相关推荐
hive jdbc 连接所需要的所有jar包,很全的,不需要再下载其他的
hive权限,通过自定义jar对hive的10000端口进行权限管控,直接放入到hive所在的lib环境下,然后对xml文件进行相应的配置
Hive JDBC连接示例该项目展示了如何使用各种不同的方法连接到Hiveserver2。 所有类仅适用于Hiveserver2。 正在使用Cloudera JDBC驱动程序,可以从下载。 在撰写本文时,最新版本为v2.5.15 。要求: 您需要下载驱动...
jdbc连接hive的小示例程序,使用方法: 1、在Hadoop服务器上启动远程服务接口,命令: nohup hive --service hiveserver 10000 & (指定端口启动) 2、将test主程序里的IP改为自己用的Hadoop服务器ip,即可使用。
hive2.3.2 JDBC连接 ,sql developer可用。选择第三方jdbc,加入,就可以显示hive连接。用的cloudra的jdbc用于连接操作数据库,java开发请使用maven获取开源组件。
hive JDBC连接实例 maven工程
jdbc连接hive代码所需要jar包,测试有效
hive_jdbc,经过测试可以连接的。有需要的可以下载看下。hive_jdbc,经过测试可以连接的。有需要的可以下载看下。
一直在网上找不到impalajdbc的pom依赖,项目是maven的,所以整理了所用的pom
jdbc连接hive数据库的jar包.整理可用合集.
hive jdbc jar包用于hive连接数据库驱动
可用于数据库客户端连接、FineReport 等报表工具连接 包含 Jar 包列表: 01、hadoop-common-3.0.0-cdh6.3.1.jar 02、hive-exec-2.1.1-cdh6.3.1.jar 03、hive-jdbc-2.1.1-cdh6.3.1.jar 04、hive-jdbc-2.1.1-cdh6.3.1-...
cloudera.com为我们提供的hiveserver2-JDBC驱动包,不需要把10几个jar找齐就能使用了。
这是用于与HIVE建立JDBC连接的驱动jar包,经过测试,是可以使用的。
jdbc 连接impala或者jdbc连接hive所需的jar包。
HiveJDBC驱动可直接配合DBeaver使用,新建连接 -> Apache Hive ->编辑驱动设置(删除默认地址) ->添加文件 ->选中下载的文件 ->点击找到类 ->确定
本项目对如何在Springboot项目中整合hive-jdbc进行简单示例和介绍,亲测可用,请放心下载。
hive连接jdbc的jar包: hive-jdbc-1.1.0.jar
jdbc连接hive所需的一个包 ( hive-jdbc-3.1.2.jar)
hive的驱动包,支持使用jdbc的方式连接hive组件,可在客户端使用sql进行数据库操作