目录[-]
- Hive UDF整理
- 字符串函数
- 字符串长度函数:length
- 字符串反转函数:reverse
- 字符串连接函数:concat
- 带分隔符字符串连接函数:concat_ws
- 字符串截取函数:substr,substring
- 字符串截取函数:substr,substring
- 字符串转大写函数:upper,ucase
- 字符串转小写函数:lower,lcase
- 去空格函数:trim
- 左边去空格函数:ltrim
- 右边去空格函数:rtrim
- 正则表达式替换函数:regexp_replace
- 正则表达式解析函数:regexp_extract
- URL解析函数:parse_url
- json解析函数:get_json_object
- 空格字符串函数:space
- 重复字符串函数:repeat
- 首字符ascii函数:ascii
- 左补足函数:lpad
- 右补足函数:rpad
- 分割字符串函数: split
- 集合查找函数: find_in_set
-----成王败寇(陈小春)
原文章地址:http://www.oratea.net/?p=951
Hive UDF整理
正则抽取
regexp_extract(reflect("java.net.URLDecoder", "decode", url),'word=(.*)&ie',1)
返回解码后的
字符串函数
字符串长度函数:length
语法: length(string A) 返回值: int 说明:返回字符串A的长度 举例: hive> select length(‘abcedfg’) from dual; 7 |
字符串反转函数:reverse
语法: reverse(string A) 返回值: string 说明:返回字符串A的反转结果 举例: hive> select reverse(‘abcedfg’) from dual; gfdecba |
字符串连接函数:concat
语法: concat(string A, string B…) 返回值: string 说明:返回输入字符串连接后的结果,支持任意个输入字符串 举例: hive> select concat(‘abc’,'def’,'gh’) from dual; abcdefgh |
带分隔符字符串连接函数:concat_ws
语法: concat_ws(string SEP, string A, string B…) 返回值: string 说明:返回输入字符串连接后的结果,SEP表示各个字符串间的分隔符 举例: hive> select concat_ws(‘,’,'abc’,'def’,'gh’) from dual; abc,def,gh |
字符串截取函数:substr,substring
语法: substr(string A, int start),substring(string A, int start) 返回值: string 说明:返回字符串A从start位置到结尾的字符串 举例: hive> select substr(‘abcde’,3) from dual; cde hive> select substring(‘abcde’,3) from dual; cde hive> select substr(‘abcde’,-1) from dual; (和ORACLE相同) e |
字符串截取函数:substr,substring
字符串转大写函数:upper,ucase
语法: upper(string A) ucase(string A) 返回值: string 说明:返回字符串A的大写格式 举例: hive> select upper(‘abSEd’) from dual; ABSED hive> select ucase(‘abSEd’) from dual; ABSED |
字符串转小写函数:lower,lcase
语法: lower(string A) lcase(string A) 返回值: string 说明:返回字符串A的小写格式 举例: hive> select lower(‘abSEd’) from dual; absed hive> select lcase(‘abSEd’) from dual; absed |
去空格函数:trim
语法: trim(string A) 返回值: string 说明:去除字符串两边的空格 举例: hive> select trim(‘ abc ‘) from dual; abc |
左边去空格函数:ltrim
语法: ltrim(string A) 返回值: string 说明:去除字符串左边的空格 举例: hive> select ltrim(‘ abc ‘) from dual; abc |
右边去空格函数:rtrim
语法: rtrim(string A) 返回值: string 说明:去除字符串右边的空格 举例: hive> select rtrim(‘ abc ‘) from dual; abc |
正则表达式替换函数:regexp_replace
语法: regexp_replace(string A, string B, string C) 返回值: string 说明:将字符串A中的符合java正则表达式B的部分替换为C。注意,在有些情况下要使用转义字符 举例: hive> select regexp_replace(‘foobar’, ‘oo|ar’, ”) from dual; fb |
正则表达式解析函数:regexp_extract
URL解析函数:parse_url
语法: parse_url(string urlString, string partToExtract [, string keyToExtract]) 返回值: string 说明:返回URL中指定的部分。partToExtract的有效值为:HOST, PATH, QUERY, REF, PROTOCOL, AUTHORITY, FILE, and USERINFO. 举例: hive> select parse_url(‘http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1′, ‘HOST’) from dual; facebook.com hive> select parse_url(‘http://facebook.com/path1/p.php?k1=v1&k2=v2#Ref1′, ‘QUERY’, ‘k1′) from dual; v1 |
json解析函数:get_json_object
语法: get_json_object(string json_string, string path) 返回值: string 说明:解析json的字符串json_string,返回path指定的内容。如果输入的json字符串无效,那么返回NULL。 举例: hive> select get_json_object(‘{“store”: > {“fruit”:\[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}], > “bicycle”:{“price”:19.95,”color”:”red”} > }, > “email”:”amy@only_for_json_udf_test.net”, > “owner”:”amy” > } > ‘,’$.owner’) from dual; amy |
空格字符串函数:space
语法: space(int n) 返回值: string 说明:返回长度为n的字符串 举例: hive> select space(10) from dual; hive> select length(space(10)) from dual; 10 |
重复字符串函数:repeat
语法: repeat(string str, int n) 返回值: string 说明:返回重复n次后的str字符串 举例: hive> select repeat(‘abc’,5) from dual; abcabcabcabcabc |
首字符ascii函数:ascii
语法: ascii(string str) 返回值: int 说明:返回字符串str第一个字符的ascii码 举例: hive> select ascii(‘abcde’) from dual; 97 |
左补足函数:lpad
语法: lpad(string str, int len, string pad) 返回值: string 说明:将str进行用pad进行左补足到len位 举例: hive> select lpad(‘abc’,10,’td’) from dual; tdtdtdtabc 与GP,ORACLE不同,pad 不能默认 |
右补足函数:rpad
语法: rpad(string str, int len, string pad) 返回值: string 说明:将str进行用pad进行右补足到len位 举例: hive> select rpad(‘abc’,10,’td’) from dual; abctdtdtdt |
分割字符串函数: split
语法: split(string str, string pat) 返回值: array 说明: 按照pat字符串分割str,会返回分割后的字符串数组 举例: hive> select split(‘abtcdtef’,'t’) from dual; ["ab","cd","ef"] |
集合查找函数: find_in_set
语法: find_in_set(string str, string strList) 返回值: int 说明: 返回str在strlist第一次出现的位置,strlist是用逗号分割的字符串。如果没有找该str字符,则返回0(只能是逗号分隔,不然返回0) 举例: hive> select find_in_set(‘ab’,'ef,ab,de’) from dual; 2 hive> select find_in_set(‘at’,'ef,ab,de’) from dual; 0 |
希望通过共享自己的笔记,来找到一群和我一样愿意分享笔记和心得的朋友,让大家一起进步
相关推荐
hive编写 udf 至少需要引入的jar包:hive-exec-xxx.jar 和 hadoop-core-xxx.jar
Hive UDF 说明书,官方指定文档。Hive_LanguageManual_UDF
大数据的hive资源的详细代码设计以及分享,望博友相互交流
主要介绍了大数据 java hive udf函数(手机号码脱敏),的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
hive的udf函数实现
NexR Hive UDF 关于 NexR Hive UDF是Hive用户定义功能的集合。 执照 快速开始 $ git clone https://github.com/nexr/hive-udf.git $ cd hive-udf $ mvn clean package or $ ant -Dhive.install.dir=../hive/build/...
udf开发–做个简单脱敏udf保留前5位,后面全部替换成*****
详细介绍如何开发hive自定义永久函数,配套有测试数据
通用hive udf 源码,想要开发hadoop hive 的开发者 可以下载试看
Hive UDF UDF 聚合 UDF Finds MIN, MAX and SUM from array of Struct Objects based on a field. 排序 UDF Returns sorted array of Struct objects for an array of Struct Objects based on a field. 日期 ...
hiveUDF-1.0-SNAPSHOT.jar
地址转换成经纬度+两地址间距离计算+省市区位置解析(Java代码) Hive自定义函数的封装
jet-hive-udf 简介 jet-hive-udf 包含了一些有用的hive udf函数,包含日期计算,ip,useragent解析函数,加密解密等. 注意: jet-hive-udf支持hive-0.11.0或更高版本. 其中useragent解析需要使用到java8+,其他需要java...
Hive UDF 项目 介绍 该项目只是一个示例,包含多个 (UDF),用于 Apache Spark。 它旨在演示如何在 Scala 或 Java 中构建 Hive UDF 并在 . 为什么要使用 Hive UDF? Hive UDF 的一个特别好的用途是与 Python 和 ...
Spark Hive UDF示例 建立项目 mvn clean package 将spark-hive-udf-1.0.0-SNAPSHOT.jar复制到边缘节点临时目录 spark-hive-udf]# cp target/spark-hive-udf-1.0.0-SNAPSHOT.jar /tmp 通过提供罐子来启动火花壳 spark...
NULL 博文链接:https://superlxw1234.iteye.com/blog/1586377
HiveUDF 此Hive UDF示例代码包含2个函数:MyUpper()和MyContains() 它们在Hive 0.12、0.13和1.0中进行了测试。 要使Hive UDF在Drill中工作,请关注以下博客:一种。 如何制作罐子mvn package ## b。 准备一个带...
Hive UDF 的集合 CountBusinessDays、CountSaturdays、CountSundays 这些 UDF 计算两个给定日期之间的完整天数。 例如,周一和周三之间的完整工作日数将为 1。 用法 ADD JAR hdfs: /// user / hive / udfs / ...
而自定义用户定义函数(UDF)是 Hive 中的一个重要功能,允许用户根据自己的需求编写自定义函数,以便在 Hive 查询中使用。 如何在 Hive 中创建自定义 UDF 函数: 步骤一:编写 Java 程序 首先,您需要编写一个 ...
如何使用Java编写hive的UDF,使用的是eclipse,步骤比较详细,也很简单,适用于初学者初学者