package com.netqin.hive.kpi;
import org.apache.hadoop.hive.service.HiveClient;
import org.apache.hadoop.hive.service.HiveServerException;
import org.apache.log4j.Logger;
import org.apache.thrift.TException;
import org.apache.thrift.protocol.TBinaryProtocol;
import org.apache.thrift.protocol.TProtocol;
import org.apache.thrift.transport.TSocket;
import org.apache.thrift.transport.TTransport;
import org.apache.thrift.transport.TTransportException;
public class AndroidKpi {
// Thrift Server IP Address
private static String HOST = "192.168.0.59";
// Thrift Server Port
private static int PORT = 10000;
public static final Logger logger = Logger.getLogger(AndroidKpi.class); // logger
public static void main(String[] args) {
TTransport transport = new TSocket(HOST, PORT);
TProtocol protocol = new TBinaryProtocol(transport);
HiveClient client = new HiveClient(protocol);
String tableName = "tableName";
try {
transport.open();
// Execute Hive Query Language Command
client.execute("select count(*) from "+tableName);
System.out.println(client.fetchOne());
//logger.debug("size "+client.fetchOne());
} catch (TTransportException e) {
logger.error(e.getMessage());
e.printStackTrace();
} catch (HiveServerException e) {
logger.error(e.getMessage());
e.printStackTrace();
} catch (TException e) {
logger.error(e.getMessage());
e.printStackTrace();
}
}
}
运行以上的程序所必需的Jar包:
- 大小: 4.3 KB
分享到:
相关推荐
总结一下,"hbase_hive_thrift_php"这个主题涵盖了如何使用PHP通过Thrift与HBase和Hive进行交互,以实现大数据的存储、管理和Web应用中的查询。这种技术栈对于需要在PHP环境中处理大规模数据的项目非常有价值。
Apache Hive 1.1.0 ( ) Apache Impala 2.12.0 ( ) 使用以下编译器和基本PHP类: Apache Thrift 0.12.0 ( )使用范例推荐的使用此库的方法是通过高效内存的迭代器从Hive / Impala获取结果,该迭代器将保持连接...
在实际应用中,使用PHP通过Thrift访问Hadoop可能包括以下步骤: 1. 安装和配置Thrift库:确保PHP环境已经安装了Thrift PHP扩展,并根据Hadoop服务配置相应的连接参数。 2. 创建Thrift服务接口定义:编写.thrift文件...
1. **部署准备**:将Hive-site.xml文件移至Spark的配置目录中,确保Spark能够访问Hive元数据。注意检查Hive元数据版本,如果是通过Hive Server模式连接,则还需要注意服务器用户的权限问题。 2. **脚本转换**:基于...
2. **Hive连接方式** 要连接到Hive,首先需要知道Hive服务器的地址、端口、用户名和密码。Hive可以通过Thrift协议暴露服务,通常使用HTTP或HTTPS作为传输层,因此连接字符串可能形如`jdbc:hive2://hostname:port/;...
- **HiveServer**: HiveServer通过提供Thrift接口服务来运行Hive服务,允许多种客户端通过Thrift协议与Hive进行交互。这使得Hive能够被非Java客户端应用使用,提高了灵活性。HiveServer通常用于构建分布式系统中的...
4. **执行HQL查询**:通过客户端对象,你可以调用Hive服务的方法来执行HQL查询。这可能涉及到构建一个Thrift结构体,包含你的查询语句,然后调用`execute`或`runQuery`等方法。 5. **处理结果**:查询的结果会以...
6. **执行Hive查询**:通过客户端实例调用`executeQuery`方法,传入你的HQL(Hive Query Language)语句,然后获取查询结果。 7. **处理返回数据**:Ttrift会将Hive查询结果转换为PHP可读的数据结构,如数组或对象...
WebGUI是通过浏览器访问 Hive 本文主要介绍的就是第二种用户接口,直接进入正题。 1、Hive 安装: 1)hive的安装请参考网上的相关文章,测试时只在hadoop一个节点上安装hive即可。 2)测试数据data文件'\t'分隔:...
3. **Hive与VC的交互**:由于Hive主要设计用于Java环境,VC程序员需要使用Hive的Java API或者通过Thrift接口来实现与Hive的通信。Thrift是一种跨语言的服务框架,可以生成C++代码供VC使用。 4. **Thrift库的使用**...
Hive JDBC适用于各种场景,如ETL(提取、转换、加载)工具,数据分析应用,或者任何需要在Java应用程序中访问Hive数据的场合。它简化了与Hadoop生态系统的集成,使得开发者能用熟悉的SQL语法处理大数据。然而,需要...
- **Web GUI**: 提供了一个网页界面,方便用户通过浏览器访问Hive服务。 - **服务端组件**: - **Driver组件**: 包括Compiler、Optimizer和Executor。负责将HiveQL语句编译并优化为MapReduce任务。 - **Metastore...
Hive JDBC连接是Java应用程序与Hive数据仓库进行交互的一种方式。它允许程序通过标准的JDBC接口查询和操作Hive中的数据。在使用Hive JDBC进行连接时,需要依赖一系列的jar包来确保所有必要的功能得以实现。下面将...
1. **hive-exec-0.11.0.jar**:这是 Hive 执行引擎的主要库,包含了执行 SQL 查询、优化查询计划以及与 Hadoop MapReduce 交互所需的类和方法。 2. **hive-metastore-0.11.0.jar**:这个 JAR 包含了 Hive 元数据...
在描述中提到的"jdbc方式连接hive thrift server驱动器",这里提到了Thrift Server,它是Hive提供的一种非HDFS的访问方式,允许用户通过多种语言(如Java、Python等)远程访问Hive。Thrift是一个软件框架,用于构建...
3. Thrift Server:提供跨语言服务,允许不同编程语言的客户端通过 Thrift 接口与 Hive 通信。 4. WEB GUI:Hive Web Interface (HWI) 提供了一个基于网页的界面来访问 Hive 服务。 5. Metastore:存储关于表、列、...
总结来说,"hive远程连接工具和jar.zip"压缩包提供了一个完整的解决方案,帮助用户利用SQuirreL SQ Client这一强大工具远程访问和管理Hive数据仓库,而无需担心缺少必要的依赖库。这个工具包的便利性使得数据分析和...
在IT行业中,数据库管理和数据分析是至关重要的任务,而Hive作为一个大数据处理的工具,提供了对大规模数据集的高效...DBeaver和Java应用都可以通过这种方式与Hive进行有效交互,从而实现对大数据的便捷访问和处理。
JDBC是Java编程语言中用来规范客户端程序如何访问数据库的应用程序接口,Hive-JDBC使得非Hadoop环境下的应用程序(如DbVisualizer)能够连接到Hive服务器,执行查询并获取结果。 3. **部署步骤**:在DbVisualizer中...