Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。
Hive的UDF开发只需要重构UDF类的evaluate函数即可。例:
package com.hrj.hive.udf;
import org.apache.hadoop.hive.ql.exec.UDF;
public class helloUDF extends UDF {
public String evaluate(String str) {
try {
return \"HelloWorld \" + str;
} catch (Exception e) {
return null;
}
}
}
将该java文件编译成helloudf.jar
hive> add jar helloudf.jar;
hive> create temporary function helloworld as 'com.hrj.hive.udf.helloUDF';
hive> select helloworld(t.col1) from t limit 10;
hive> drop temporary function helloworld;
注:
1. helloworld为临时的函数,所以每次进入hive都需要add jar以及create temporary操作
2. UDF只能实现一进一出的操作,如果需要实现多进一出,则需要实现UDAF
分享到:
相关推荐
hive编写 udf 至少需要引入的jar包:hive-exec-xxx.jar 和 hadoop-core-xxx.jar
udf开发–做个简单脱敏udf保留前5位,后面全部替换成*****
通用hive udf 源码,想要开发hadoop hive 的开发者 可以下载试看
SQL中将汉字转换成拼音,这里是转换汉字首拼音,如果需要全部转换,在以下程序中稍微改几个数字就可以了
hive常用的开发规范 hdfs hbase udf函数 hql shell脚本开发等常用规范,仅供参考
UDF开发及发布过程 1 用户编写UDF实现类 2 编写完成后,在UDFHooks类中调用相关注册函数: 调用 FunctionRegistry.registerUDF 注册udf 调用 FunctionRegistry.registerUDAF 注册udaf 调用FunctionRegistry....
hive 开发UDF 使用maven工程 引发jar包缺失 hive 开发UDF 使用maven工程 引发jar包缺失
Scriptis用于交互式数据分析,包括脚本开发(SQL, Pyspark, HiveQL),任务提交(Spark, Hive), UDF,函数,资源管理和智能诊断.zip
#资源达人分享计划#
平时工作中遇到一些汇总HIVE原生的UDF不能满足需求,故开发一些定制化的UDF 使用方法: 进入hive后 add jar /mnt/data/etl_framework/script/java/udf/udf.jar; create temporary function getlastdate as '...
用于大数据后台hive开发,对照DB2的函数列表,有少部分是hive的UDF函数
Hive相关知识; Hive是基于Hadoop的数据仓库工具,可以用来对HDFS中存储的数据...Hive还允许用户编写自己定义的函数UDF,用来在查询中使用。;;;6.2 Hive组件架构;6.2 Hive组件架构;6.2 Hive组件架构;;6.3 下载和解压安装
Hive 自定义函数UDF开发手把手教程—— 创建临时函数和永久函数代码,具体创建过程参考https://blog.csdn.net/helloxiaozhe/article/details/102498567
本章将为大家解答以下问题:基于Hadoop的Hive工具的基本概念以及配置和启动。Hive的数据类型、表以及数据操作。如何用Hive进行数据查询。...Hive的UDF自定义函数介绍和应用。azkaban的介绍和实际应用。
圣经 英文|介绍Scriptis用于交互式数据分析,包括脚本开发(SQL,Pyspark,HiveQL),任务提交(Spark,Hive),UDF,功能,资源管理和智能诊断。产品特点脚本编辑器:支持多语言,自动完成,语法突出显示和SQL语法...
包含读取hive,MySQL,文件三种方式的数据交互的udf函数,适用初高及数据研发人员在开发udf函数是作为参考,包括文件写入及读取方式,MySQL,hive等数据库连接可以直接将获取数据转为对象,便于后期开发达到复用目的...
在本课程中,你将学习到,Hive架构原理、安装配置、hiveserver2、数据类型、数据定义、数据操作、查询、自定义UDF函数、窗口函数、压缩和存储、企业级调优、以及结合谷粒影音项目需求,把整个Hive的核心知识点贯穿...
Hive的函数大全,节省开发时间,提升开发效率
在本课程中,你将学习到,Hive架构原理、安装配置、hiveserver2、数据类型、数据定义、数据操作、查询、自定义UDF函数、窗口函数、压缩和存储、企业级调优、以及结合影音项目需求,把整个Hive的核心知识点贯穿起来。...