`
mozhenghua
  • 浏览: 319238 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

编写hive udf

 
阅读更多
我已经编写好了一个根据某列属性hash分区的一个函数,并且已经在日常环境中测试通过
用法:
hive 启动
hive --auxpath /root/standalone/commons-io-2.3.jar,/root/standalone/commons-logging-1.2.jar,/root/standalone/fastjson-1.1.41.jar,/root/standalone/global-diamond-config-1.0.3-SNAPSHOT.jar,/root/standalone/hive-exec-1.1.0.jar,/root/standalone/noggit-0.6.jar,/root/standalone/slf4j-api-1.7.5.jar,/root/standalone/solr-solrj-5.3.0.jar,/root/standalone/spring-2.5.6.jar,/root/standalone/terminator-manage-pojo-1.0.3-SNAPSHOT.jar,/root/standalone/tis-client-standalone-1.0.3-SNAPSHOT.jar,/root/standalone/tis-solrj-client-1.0.3-SNAPSHOT.jar,/root/standalone/zookeeper-3.4.5.jar
创建临时函数:
create temporary function tisshare as 'com.dfire.tis.dump.hive.SharedRouter';
 
在hive中调用udf测试:
select tisshare('hello','search4totalpay','daily');
函数说明,此函数一共三个参数:
参数1:某列属性
参数2:对应分区tis中的某个索引名称
参数3:运行环境,日常使用‘daily’,线上生产环境'online'
 
需要依赖的jar包:
commons-io-2.3.jar
commons-logging-1.2.jar
fastjson-1.1.41.jar
global-diamond-config-1.0.3-SNAPSHOT.jar
hive-exec-1.1.0.jar
noggit-0.6.jar
slf4j-api-1.7.5.jar
solr-solrj-5.3.0.jar
spring-2.5.6.jar
terminator-manage-pojo-1.0.3-SNAPSHOT.jar
tis-client-standalone-1.0.3-SNAPSHOT.jar
tis-solrj-client-1.0.3-SNAPSHOT.jar
zookeeper-3.4.5.jar
 
附件中是依赖的jar包

 

分享到:
评论

相关推荐

    hive UDF需要jar包

    hive编写 udf 至少需要引入的jar包:hive-exec-xxx.jar 和 hadoop-core-xxx.jar

    hive自定义UDF编写函数.docx

    hive的udf函数实现

    hive的UDF的编写.docx

    如何使用Java编写hive的UDF,使用的是eclipse,步骤比较详细,也很简单,适用于初学者初学者

    javasql笔试题-spark-hive-udf:展示如何在ApacheSpark中使用HiveUDF的示例项目

    Hive UDF 项目 介绍 该项目只是一个示例,包含多个 (UDF),用于 Apache Spark。 它旨在演示如何在 Scala 或 Java 中构建 Hive UDF 并在 . 为什么要使用 Hive UDF? Hive UDF 的一个特别好的用途是与 Python 和 ...

    HIVE自定义UDF函数

    而自定义用户定义函数(UDF)是 Hive 中的一个重要功能,允许用户根据自己的需求编写自定义函数,以便在 Hive 查询中使用。 如何在 Hive 中创建自定义 UDF 函数: 步骤一:编写 Java 程序 首先,您需要编写一个 ...

    hive-udf-tools:hive udf 部署工具,开发工具...

    hive-udf-hook UDF开发及发布过程 1 用户编写UDF实现类 2 编写完成后,在UDFHooks类中调用相关注册函数: 调用 FunctionRegistry.registerUDF 注册udf 调用 FunctionRegistry.registerUDAF 注册udaf 调用...

    大数据运维技术第6章 Hive组件安装配置课件.pptx

    Hive相关知识; Hive是基于Hadoop的数据仓库工具,可以用来对HDFS中存储的数据...Hive还允许用户编写自己定义的函数UDF,用来在查询中使用。;;;6.2 Hive组件架构;6.2 Hive组件架构;6.2 Hive组件架构;;6.3 下载和解压安装

    hive的自定义函数

    简单介绍了hive自定义函数的编写步骤以及使用。

    Scriptis是一款支持在线写SQLPysparkHiveQL等脚本提交给Linkis执行的数据分析Web工具

    Scriptis是一款支持在线写SQL、Pyspark、HiveQL等脚本,提交给Linkis执行的数据分析Web工具,且支持UDF、函数、资源管控和智能诊断等企业级特性。

    Hive大数据离线应用开发

    本章将为大家解答以下问题:基于Hadoop的Hive工具的基本概念以及配置和启动。Hive的数据类型、表以及数据操作。如何用Hive进行数据查询。...Hive的UDF自定义函数介绍和应用。azkaban的介绍和实际应用。

    Hive-JSON-Serde:读取-为Apache Hive编写JSON SerDe

    JsonSerde-JSON数据的读/写SerDe 建立状态: 掌握 : 开发: 该库使Apache Hive能够以JSON格式进行读写。 它包括对序列化和反序列化(SerDe)以及JSON转换UDF的... 将JAR放入hive/lib或在Hive中使用ADD JAR 。 JS

    Hive自定义函数

    Hive自定义函数 一. UDF(user defined function) 背景 系统内置函数无法解决所有的实际业务问题,需要开发者自己编写函数实现自身的业务实现诉求。 应用场景非常多,面临的业务不同导致个性化实现很多,故udf...

    java数组笔试题-transport:用于编写可在各种引擎(包括ApacheSpark、ApacheHive和Presto)之间移植的高性能

    Spark、Hive 和 Trino 生成引擎工件,以及为 Avro 生成格式工件。 有关运输的更多详细信息可以在此找到。 文档 项目信息: 运输发行说明: 贡献: 用户指南 传输 UDF API: 创作传输 UDF: 使用传输 UDF: 为传输 ...

    大数据技术——数据处理和分析.pdf

    MAPREDUCE:JAVA编写MAP程序,REDUCE程序 SPARK:SCALA或者PYTHON开发,也⽀持SQL。 HIVE与MAPREDUCE的⽐较: HIVE提交的SQL会转化成MAPREDUCE的任务去执⾏。 HIVE的开发成本不⾼,优先⽤SQL解决问题。否则需要写...

    Hadoop权威指南(中文版)2015上传.rar

    1.8.1 编写UDF 1.8.2 编写UDAF 第13章 HBase 2.1 HBasics 2.1.1 背景 2.2 概念 2.2.1 数据模型的"旋风之旅" 2.2.2 实现 2.3 安装 2.3.1 测试驱动 2.4 客户机 2.4.1 Java 2.4.2 Avro,REST,以及Thrift 2.5 示例 ...

    Hadoop权威指南 第二版(中文版)

     1.8.1 编写UDF  1.8.2 编写UDAF 第13章 HBase  2.1 HBasics  2.1.1 背景  2.2 概念  2.2.1 数据模型的“旋风之旅”  2.2.2 实现  2.3 安装  2.3.1 测试驱动  2.4 客户机  2.4.1 Java  2.4.2 Avro,REST...

    大数据场景化解决方案.pdf

    当Hive提供的内置函数⽆法满⾜业务处理需要时,此时就可以考虑使⽤⽤户⾃定义函数,编写处理代码并在查询中使⽤。 UDF(User-Defined-Function) ⽤于接收单个数据⾏,并产⽣⼀个数据⾏作为输出。 UDAF(User-Defined...

    Hadoop硬实战 [(美)霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )

    技术点65 编写UDF 和压缩分区表 10.2.3 数据合并 技术点66 优化Hive 合并 10.2.4 分组、排序和explain 10.3 本章小结 11 Pig 流管道 11.1 Pig 基础 11.1.1 安装 11.1.2 架构 11.1.3 PigLatin...

    Hadoop实战中文版

    10.5.3 关系型运算符 10.5.4 执行优化 10.6 用户定义函数 10.6.1 使用UDF 10.6.2 编写UDF 10.7 脚本 10.7.1 注释 10.7.2 参数替换 10.7.3 多查询执行 10.8 Pig 实战——计算相似专利的例子 10.9 小结 第...

    Hadoop实战(陆嘉恒)译

    用Pig编程10.1 像Pig 一样思考10.1.1 数据流语言10.1.2 数据类型10.1.3 用户定义函数10.2 安装...编写UDF10.7 脚本10.7.1 注释10.7.2 参数替换10.7.3 多查询执行10.8 Pig 实战——计算相似专利的例子10.9 小结第11 章...

Global site tag (gtag.js) - Google Analytics