`
xiaobian
  • 浏览: 587113 次
  • 来自: 北京
社区版块
存档分类
最新评论

通过Thrift 方式访问 Hive

阅读更多

 

package com.netqin.hive.kpi;

import org.apache.hadoop.hive.service.HiveClient;
import org.apache.hadoop.hive.service.HiveServerException;
import org.apache.log4j.Logger;
import org.apache.thrift.TException;
import org.apache.thrift.protocol.TBinaryProtocol;
import org.apache.thrift.protocol.TProtocol;
import org.apache.thrift.transport.TSocket;
import org.apache.thrift.transport.TTransport;
import org.apache.thrift.transport.TTransportException;

public class AndroidKpi {
	
	// Thrift Server IP Address
	private static String HOST = "192.168.0.59";
	// Thrift Server Port
	private static int PORT = 10000;
	public static final Logger logger = Logger.getLogger(AndroidKpi.class); // logger
	
    public static void main(String[] args) {
    	
    	   TTransport transport  = new TSocket(HOST, PORT);
           TProtocol protocol = new TBinaryProtocol(transport);
           HiveClient client = new HiveClient(protocol);
           String tableName = "tableName";
           try {
			transport.open();
			// Execute Hive Query Language Command
			client.execute("select count(*) from "+tableName);
			System.out.println(client.fetchOne());
			//logger.debug("size "+client.fetchOne());
		} catch (TTransportException e) {
			logger.error(e.getMessage());
			e.printStackTrace();
		} catch (HiveServerException e) {
			logger.error(e.getMessage());
			e.printStackTrace();
		} catch (TException e) {
			logger.error(e.getMessage());
			e.printStackTrace();
		}
    }

}


运行以上的程序所必需的Jar包:
  • 大小: 4.3 KB
分享到:
评论

相关推荐

    hbase_hive_thrift_php

    总结一下,"hbase_hive_thrift_php"这个主题涵盖了如何使用PHP通过Thrift与HBase和Hive进行交互,以实现大数据的存储、管理和Web应用中的查询。这种技术栈对于需要在PHP环境中处理大规模数据的项目非常有价值。

    php-thrift-sql:一个通过Thrift连接到Hive或ImpalaPHP库

    Apache Hive 1.1.0 ( ) Apache Impala 2.12.0 ( ) 使用以下编译器和基本PHP类: Apache Thrift 0.12.0 ( )使用范例推荐的使用此库的方法是通过高效内存的迭代器从Hive / Impala获取结果,该迭代器将保持连接...

    php通过thrift获取hadoop资源

    在实际应用中,使用PHP通过Thrift访问Hadoop可能包括以下步骤: 1. 安装和配置Thrift库:确保PHP环境已经安装了Thrift PHP扩展,并根据Hadoop服务配置相应的连接参数。 2. 创建Thrift服务接口定义:编写.thrift文件...

    spark替代Hive实现ETL作业

    1. **部署准备**:将Hive-site.xml文件移至Spark的配置目录中,确保Spark能够访问Hive元数据。注意检查Hive元数据版本,如果是通过Hive Server模式连接,则还需要注意服务器用户的权限问题。 2. **脚本转换**:基于...

    连接hive依赖的jar包_hive连接方式

    2. **Hive连接方式** 要连接到Hive,首先需要知道Hive服务器的地址、端口、用户名和密码。Hive可以通过Thrift协议暴露服务,通常使用HTTP或HTTPS作为传输层,因此连接字符串可能形如`jdbc:hive2://hostname:port/;...

    hive基础知识总结

    - **HiveServer**: HiveServer通过提供Thrift接口服务来运行Hive服务,允许多种客户端通过Thrift协议与Hive进行交互。这使得Hive能够被非Java客户端应用使用,提高了灵活性。HiveServer通常用于构建分布式系统中的...

    使用php连接hive

    4. **执行HQL查询**:通过客户端对象,你可以调用Hive服务的方法来执行HQL查询。这可能涉及到构建一个Thrift结构体,包含你的查询语句,然后调用`execute`或`runQuery`等方法。 5. **处理结果**:查询的结果会以...

    Ttrift 访问hive的php客户包

    6. **执行Hive查询**:通过客户端实例调用`executeQuery`方法,传入你的HQL(Hive Query Language)语句,然后获取查询结果。 7. **处理返回数据**:Ttrift会将Hive查询结果转换为PHP可读的数据结构,如数组或对象...

    hadoop+hive+mapreduce的java例子

    WebGUI是通过浏览器访问 Hive 本文主要介绍的就是第二种用户接口,直接进入正题。 1、Hive 安装: 1)hive的安装请参考网上的相关文章,测试时只在hadoop一个节点上安装hive即可。 2)测试数据data文件'\t'分隔:...

    HIVE数据库解析vc编写

    3. **Hive与VC的交互**:由于Hive主要设计用于Java环境,VC程序员需要使用Hive的Java API或者通过Thrift接口来实现与Hive的通信。Thrift是一种跨语言的服务框架,可以生成C++代码供VC使用。 4. **Thrift库的使用**...

    hive-jdbc-1.2.1-standalone

    Hive JDBC适用于各种场景,如ETL(提取、转换、加载)工具,数据分析应用,或者任何需要在Java应用程序中访问Hive数据的场合。它简化了与Hadoop生态系统的集成,使得开发者能用熟悉的SQL语法处理大数据。然而,需要...

    hive面试题

    - **Web GUI**: 提供了一个网页界面,方便用户通过浏览器访问Hive服务。 - **服务端组件**: - **Driver组件**: 包括Compiler、Optimizer和Executor。负责将HiveQL语句编译并优化为MapReduce任务。 - **Metastore...

    hive jdbc 连接所需要的jar包

    Hive JDBC连接是Java应用程序与Hive数据仓库进行交互的一种方式。它允许程序通过标准的JDBC接口查询和操作Hive中的数据。在使用Hive JDBC进行连接时,需要依赖一系列的jar包来确保所有必要的功能得以实现。下面将...

    hive相关jar包

    1. **hive-exec-0.11.0.jar**:这是 Hive 执行引擎的主要库,包含了执行 SQL 查询、优化查询计划以及与 Hadoop MapReduce 交互所需的类和方法。 2. **hive-metastore-0.11.0.jar**:这个 JAR 包含了 Hive 元数据...

    JDBD连接hive驱动jar包

    在描述中提到的"jdbc方式连接hive thrift server驱动器",这里提到了Thrift Server,它是Hive提供的一种非HDFS的访问方式,允许用户通过多种语言(如Java、Python等)远程访问Hive。Thrift是一个软件框架,用于构建...

    Hive 教程.docx

    3. Thrift Server:提供跨语言服务,允许不同编程语言的客户端通过 Thrift 接口与 Hive 通信。 4. WEB GUI:Hive Web Interface (HWI) 提供了一个基于网页的界面来访问 Hive 服务。 5. Metastore:存储关于表、列、...

    hive远程连接工具和jar.zip

    总结来说,"hive远程连接工具和jar.zip"压缩包提供了一个完整的解决方案,帮助用户利用SQuirreL SQ Client这一强大工具远程访问和管理Hive数据仓库,而无需担心缺少必要的依赖库。这个工具包的便利性使得数据分析和...

    连接Hive相关Jar包(DBeaver和JDBC均可使用)

    在IT行业中,数据库管理和数据分析是至关重要的任务,而Hive作为一个大数据处理的工具,提供了对大规模数据集的高效...DBeaver和Java应用都可以通过这种方式与Hive进行有效交互,从而实现对大数据的便捷访问和处理。

    hive所需jar包

    JDBC是Java编程语言中用来规范客户端程序如何访问数据库的应用程序接口,Hive-JDBC使得非Hadoop环境下的应用程序(如DbVisualizer)能够连接到Hive服务器,执行查询并获取结果。 3. **部署步骤**:在DbVisualizer中...

Global site tag (gtag.js) - Google Analytics