hive中使用transform小例子
代码:
set mapred.cache.archives=hdfs://host:54310/app/ns/test/php.tgz#home; set HDFS_PHP=home/know/odp/php -c home/know/odp/php/etc/php.ini; add file `pwd`/test.php; set mapred.reduce.tasks=10 insert overwrite directory '${output}/output/' select transform(b.qid,b.time) using '${hiveconf:HDFS_PHP} test.php' as qid,endcode_qid from ( select /*+mapjoin(pm)*/ qb.qid as qid,qb.create_time as time from test_q qb join test_a pm on (qb.dt='${dt}'and pm.dt='qid' and pm.id=qb.qid ) ) b
注意:
1.上面的例子在hive上是不能直接运行的,因为上面的例子我是写在shell中的
2.用transform 时防止集群本身没有环境可以把环境依赖包打包
用 set mapred.cache.archives=hdfs://host:54310/app/ns/test/php.tgz#home;
#home指的是一个包的别名,因此
set HDFS_PHP=home/usr/php/php -c home/know/odp/php/etc/php.ini;
这里直接使用home
3.如果是直接在shell 中运行hive -e 执行上述脚本,可能运行会报错
hive 中的变量替换会与${hiveconf:} shell 中的变量替换冲突
因此在shell中最好不用${hiveconf:}
4.home/know/odp/php 这个路径意思是说home是整个包的别名,/know/odp/php包被解压后的完整路径
相关推荐
这时一个关于hive的文档类。主要内容包括一些安装以及一些例子
JDBC/ODBC 是 Hive 的Java,与使用传统数据库JDBC的方式类似 WebGUI是通过浏览器访问 Hive 本文主要介绍的就是第二种用户接口,直接进入正题。 1、Hive 安装: 1)hive的安装请参考网上的相关文章,测试时只在...
1 Hive 概念与连接使用: 2 2 Hive支持的数据类型: 2 2.1原子数据类型: 2 2.2复杂数据类型: 2 2.3 Hive类型转换: 3 3 Hive创建/删除数据库 3 3.1创建数据库: 3 3.2 删除数据库: 3 4 Hive 表相关语句 3 4.1 Hive ...
Hive内部表合并小文件Java程序
利用Hive进行复杂用户行为大数据分析及优化案例(全套视频+课件+代码+讲义+工具软件),具体内容包括: 01_自动批量加载数据到hive 02_Hive表批量加载数据的脚本实现(一) ...17_Hive中使用Python脚本进行预处理
Hive是把一个查询转化成多个MapReduce任务,然后一个接一个执行。执行的中间结果通过对磁盘的读写来同步。然而,Presto没有使用MapReduce,它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中...
hadoop1.1.2操作例子 包括hbase hive mapreduce相应的jar包
php链接HIVE的例子代码,通过thrift使得php和hive可以进行轻松的通信,达到php操作hive的目的。特别是想要用php做hive的数据挖掘界面展示的用。
将官方文档做了简要翻译 ...元数据使用JPOX ORM解决方案(Data Nucleus)持久化,因此它支持的任何数据库都可以被Hive使用。大多数商业关 系数据库和许多开源数据库都受到支持。请参阅下面一节中支持的数据库列表。
Apache Hive 是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供...
Hive中SQL详解
部分普通sql查询在hive中的实现方式详细说明;
hive hive hive hive hive hive hive hive hive hive hive hive
如果系统语言不是utf-8的话,通过jdbc调用hive的数据时,中文会是乱码,通过修改jdbc包加上utf8标识后就好了,这个是改好了的包
适用人群:hive学习童鞋,hive方面从业人员 从hive的搭建 到 hive的分区表/内部表/外部表/分桶等sql讲解
《Hive编程指南》是一本Apache Hive的编程指南 旨在介绍如何使用Hive的SQL方法 HiveQL来汇总 查询和分析存储在Hadoop分布式文件系统上的大数据集合 全书通过大量的实例 首先介绍如何在用户环境下安装和配置Hive 并对...
使用hive3.1.2和spark3.0.0配置hive on spark的时候,发现官方下载的hive3.1.2和spark3.0.0不兼容,hive3.1.2对应的版本是spark2.3.0,而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以,如果想要使用高...
22.Hive中使用自定义UDF实现日期格式转换 23. HiveServer2的介绍及三种连接方式 24.Hive元数据、fetch task和严格模式的介绍 第3章:Sqoop Sqoop及用户行为分析案例 25.CDH版本框架的介绍 26. CDH版本框架的环境...
cloudera manager中添加hive数据库使用mysql的配置的详细步骤
hive metastore是hive的元数据管理服务,实际应用中很多第三方框架需要访问metastore服务,如spark,impala等。同样hive metastore也提供了java接口。 使用 import org.apache.hadoop.hive.conf.HiveConf; import org...