`
- 浏览:
14788 次
- 性别:
-
1.运行Hive需要用到hive-site.xml文件以及对应版本的hive的jar包,于是将hive-site.xml文件和当前所用hive版本下相关的jar包上传到HDFS上面。
2.修改examples/apps/hive/workflow.xml文件,主要添加对hive-site.xml配置的支持
<job-xml>${hiveSitePath}</job-xml>
其中需要注意事项:job-xml顺序
<xs:sequence>
<xs:element name="job-tracker" type="xs:string" minOccurs="1" maxOccurs="1"/>
<xs:element name="name-node" type="xs:string" minOccurs="1" maxOccurs="1"/>
<xs:element name="prepare" type="hive:PREPARE" minOccurs="0" maxOccurs="1"/>
<xs:element name="job-xml" type="xs:string" minOccurs="0" maxOccurs="1"/>
<xs:element name="configuration" type="hive:CONFIGURATION" minOccurs="0" maxOccurs="1"/>
<xs:element name="script" type="xs:string" minOccurs="1" maxOccurs="1"/>
<xs:element name="param" type="xs:string" minOccurs="0" maxOccurs="unbounded"/>
<xs:element name="file" type="xs:string" minOccurs="0" maxOccurs="unbounded"/>
<xs:element name="archive" type="xs:string" minOccurs="0" maxOccurs="unbounded"/>
</xs:sequence>
3.修改examples/apps/hive/job.properties文件,在文件中添加相关位置的配置
hiveSitePath=${nameNode}/user/${user.name}/hive/hive-site.xml
oozie.libpath=${nameNode}/user/${user.name}/share/lib/hive
4.执行命令
bin/oozie job -config ../examples/apps/hive/job.properties -run
分享到:
Global site tag (gtag.js) - Google Analytics
相关推荐
阿帕奇·奥兹(Apache Oozie)什么是...Oozie概述Oozie是基于服务器的工作流引擎,专门用于运行具有运行Hadoop Map / Reduce和Pig作业的操作的工作流作业。 Oozie是在Java servlet容器中运行的Java Web应用程序。 出于
相关技术包括离线处理,实时处理,OLAP等,如hadoop、spark、flink、hive、hbase、oozie...以及大数据项目,如用户画像、数据仓库等 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Spark是基于内存计算...
Oozie管道可自动将数据下载和提取到配置单元表 动作1-执行脚本bash,该脚本将下载和存储昨天的数据。 安排作业每天运行。 行动2-将数据存储在HDFS的分区目录中 行动3-在HDFS中创建指向上述分区的外部Hive表covid_...
一组可与您的Hadoop集群交互的网络应用程序。Hue应用能让您浏览HDFS和工作,管理Hive metastore,运行Hive,浏览HBase Sqoop出口数据,提交MapReduce程序,构建自定义的搜索引擎与Solr,与Oozie一起调度重复性的工作流。
本资源为网页,不是PDF Apache Spark 2.0.2 中文文档 Spark 概述 ... 用 Apache Oozie 来运行应用程序 Kerberos 故障排查 Spark 配置 Spark 监控 指南 作业调度 Spark 安全 硬件配置 构建 Spark
写MRUnit测试单元(第五章介绍),还有一些更深入的特性,比如输出的提交,分布式缓存等(第8章),任务内存监控(第9章),第4章新增了通过mapreduce job处理avro 数据,第5章介绍了用oozie运行简单的workflow 工作...
2.在MapReduce的应用程序开发中,下列哪个JAVA类负责管理和运行一个计算任务? A. lob B. Context C. FileSystem D. Configuration Answer: A 3.Fusionlnsight HD中,Oozie在提交作业前需要先上传本作业所依赖的...
您已为该环境配置了将用于Ambari,Hive,Oozie和Ranger的数据库。 创建用于Ambari,Hive,Ranger和Oozie的数据库。 创建具有相应数据库权限的数据库用户(MySql的AND HOST组合)。 样本1:家庭HA集群 这是一个7...
Hue是cdh专门的一套web管理器,它包括3个部分hue ui,hue server,hue db。hue提供所有的cdh组件的shell界面的...你可以在hue编写mr,查看修改hdfs的文件,管理hive的元数据,运行Sqoop,编写Oozie工作流等大量工作。
#####已安装的服务HDFS 纱JobHistoryServer Oozie 猪蜂巢色调实际使用的是HDFS和HIVE,其余用于将来的应用程序。 ##构建Docker映像警告构建过程将下载超过1.5 GB的数据。 可以分发较小且已完全安装的映像。 这在...
技术点3 使用Oozie 定期执行数据导入活动 2.2.3 从数据库中拉数据 技术点4 使用MapReduce 将数据导入数据库 技术点5 使用Sqoop 从MySQL 导入数据 2.2.4 HBase 技术点6 HBase 导入HDFS 技术点7 将...
1.2.4 运行MapReduce 作业 1.3 本章小结第2 部分 数据逻辑.2 将数据导入导出Hadoop.2.1 导入导出的关键要素2.2 将数据导入Hadoop .2.2.1 将日志文件导入Hadoop技术点1 使用Flume 将系统日志文件...
此目录中的Docker脚本会生成CentOS 6 Docker VM并安装所有CDH组件(Hadoop,Spark,Hbase,Hive,Impala,Hue,Zookeeper,Oozie等)。 如何建立cdh容器? docker build -t docker-cdh54 . 如何运行cdh容器? ...
134_CDH数仓_Hive、Oozie、Hue安装.avi# ]& Y, M2 |) A( o# Y( b& w 135_CDH数仓_用户行为数仓ODS层导数据.avi 136_CDH数仓_用户行为数仓完结.avi. F4 z* v& a; q" }% V* \ 137_CDH数仓_业务数据生成.avi7 W7 \$ ~$ ...
很棒的开源数据工程该旨在概述与数据工程相关项目。这是社区的努力:请并发送您的拉取请求,以增加此列表!...与Superset类似,但在RDBMS,Hive,Impala,HBase,Spark,HDFS和S3,Oozie,Pig,YARN Job Explorer等接口
根据DAG图形中任务的依赖关系来关联任务,该图形可以实时可视化任务的运行状态。 支持各种任务类型:Shell,MR,Spark,SQL(MySQL,PostgreSQL,hive,spark SQL),Python,Sub_Process,Procedure等。 支持...
支持各种任务类型:Shell,MR,Spark,SQL(MySQL,PostgreSQL,hive,spark SQL),Python,Sub_Process,Procedure等。 支持工作流和依赖项的调度,手动调度以暂停/停止/恢复任务,支持失败的任务重试/报警,从...