1.oozie包的下载
3.0.*版本或者之前的版本是可以离线安装的(例如oozie-3.0.2-distro.tar.gz),在往上的版本(例如
oozie-3.3.2-distro.tar.gz和oozie-4.0.0-distro.tar.gz等)都是在线安装的版本,需要用到MAVEN工具,在安装过程中可能会碰到依赖问题,可以修改相关的POM文件。
2.解压相关tar包
tar -xzvf oozie-3.3.2-distro.tar.gz
3. 进入到解压好的目录下面,编辑 bin/addtowar.sh文件,修改相应的hadoop版本支持,4.0.0可以不用修改。
if [ "${version}" = "0.20.1" ]; then
#List is separated by ":"
hadoopJars="hadoop*core*.jar"
elif [ "${version}" = "0.20.2" ]; then
#List is separated by ":"
hadoopJars="hadoop*core*.jar"
elif [ "${version}" = "0.20.104" ]; then
#List is separated by ":"
hadoopJars="hadoop*core*.jar:jackson-core-asl-*.jar:jackson-mapper-asl-*.jar"
elif [ "${version}" = "1.2.1" ]; then
#List is separated by ":"
hadoopJars="hadoop*core*.jar:jackson-core-asl-*.jar:jackson-mapper-asl-*.jar:commons-configuration-*.jar"
修改成需要匹配的hadoop版本
4. 修改conf/oozie-site.xml文件中的数据库配置,修改相关JPAService选项,也可不修改,使用自带的derby数据库。
<property>
<name>oozie.service.JPAService.create.db.schema</name>
<value>true</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.driver</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.url</name>
<value>jdbc:mysql://192.168.9.156:3306/oozie</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.username</name>
<value>oozie</value>
</property>
<property>
<name>oozie.service.JPAService.jdbc.password</name>
<value>oozie</value>
</property>
5.在oozie-3.3.2下新建文件夹libext,将mysql驱动包放入其中
6. oozie-3.3.2下执行./bin/oozie-setup.sh -hadoop 1.2.1 ${HADOOP_HOME} -extjs ../ext-2.2.zip,命令会拷贝hadoop、ext相应的包到oozie的war中,4.4.0的版本是把相关的hadoop、ext包拷贝到libext下,
执行./bin/oozie-setup.sh prepare-war 命令即可
7.启动oozie
./bin/oozie-run.sh 或者用 ./bin/oozied.sh run
在浏览器中查看 http://namenode:11000/oozie 看到相关页面则表示安装成功
如果在访问过程中报访问拒绝异常,查看hadoop conf/core-site.xml文件是否有以下内容
<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>namenode</value>
</property>
<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>hadoop</value>
</property>
分享到:
相关推荐
Oozie 部署 1 1、Maven 安装 1 3、整合Oozie和Hadoop 8 Oozie提交MapReduce任务事例 8 1上传lib和wf到hdfs上 8 2修改job.properties文件 8 3:修改workflow.xml 9 4:执行oozie客户端命令执行mapreduce 10 配置oozie...
第3章 Oozie的部署 3.1 部署Hadoop(CDH版本的) 3.1.2 修改Hadoop配置 core-site.xml hadoop.proxyuser.atguigu.hosts * hadoop.proxyuser.atguigu.groups * mapred-site.xml mapreduce.jobhistory....
第1章 数据转换工具Sqoop 1.02_02_01_01 大数据Hadoop 2.x协作.框架的功能 网页.mp4 1.02_02_01_02 Sqoop 功能概述和版本、架构讲解 网页.mp4 1.02_02_01_03 Sqoop 使用...3.02_02_03_05 Oozie安装部署讲解一 网页.mp4
5、资源价值:大数据组件搭建的详细实践步骤、一次性提供较全面的常用大数据集群及组件安装部署内容、资源是博主结合官网文档+网上各类搭建文档+本人亲自实践后总结整合的文档(包括过程踩坑记录+对应解决方案)。
7.Oozie的部署配置 第三章:Oozie调度开发实战 1.Shell脚本工作流调度开发实战 2.Hive Job工作流调度开发实战 3.MapReduce工作流调度开发实战 4.复杂工作流调度实战 5.分支与合并逻辑控制组件 第四章:...
格式化集群并启动二、部署oozie1.上传安装包2.解压3.集成jar包4.修改oozie的配置文件4.1JDBC驱动包4.2jdbc url4.3数据库用户名4.4数据库密码5.在MySQL中创建数据库6.初始化oozie7.启动 本人在安装oozie的
安装Oozie4.1.0-CDH版本 这个安装过程同样适用于oozie4.1.0的其他的CDH版本。 先对文件进行下载: 这里使用的是CDH版本的,免编译,看着编译的过程就够了。下载地址: ...
3.8 部署Oozie 3.9 部署Ranger 3.10 部署Sqoop 3.11 部署 DataX 3.12 部署Azkaban 3.13 部署Presto 3.14 部署Elasticsearch 3.15 卸载Ambari集群 3.16 故障排除 二 hadoop技术验证(鲲鹏) 1 数据同步性能(sqoop\...
Oozie工作流程工具AKA Slippin Jimmy 生成Oozie工作流可能是一项繁琐的任务,对XML进行编码并不好,因此您可以使用process_templates.py脚本从Jinja模板中生成它们。 安装模块 # pip install slippinj 关于依赖关系...
从基础知识点到安装部署、集群配置、各种服务安装到增加新节点,通过知识点 + 实际操作的方式帮助小白快速掌握CDH的安装和配置。 课程亮点 1,Cloudera Manager可视化、自动部署和配置,稳定性好 2,理论+操作,...
win10下搭建Hadoop(jdk+mysql+hadoop+scala+hive+spark),包括jdk的安装、mysql安装和配置,hadoop安装和配置,scala安装和配置,hive安装和配置,spark安装和配置。
1、azkaban介绍、三种(solo-server、two-server和multiple-executor)部署方式及验证 网址:https://blog.csdn.net/chenwewi520feng/article/details/130728956 介绍阿兹卡班的主要功能、应用场景以及三种部署方式...
Cloudera Hadoop 5&Hadoop高阶管理及调优课程,完整版,提供课件代码资料下载。 内容简介 ...3、Impala、Oozie和Hue的部署、使用操作及调优 4、Hadoop安全认证及授权管理 5、Hadoop各组件性能调优
lg大数据高薪训练营 ...· 安装部署 · RDD概述 · 编程模型 · 持久化&检查点机制 · DAG · 算子详解 · RDD编程进阶 · 累加器&广播变量 Spark SQL · SparkSQL · DataFrame · DataSet · 自定义
azkaban源码安装由于国内网络等各种原因踩了很多坑,终于编译好了,可下载修改配置就可以直接使用了。
云朵 类型:应用状态:已测试描述:cloudera 配方 1.0.0 维护者:Fastconnect 维护者邮箱: 贡献者:主页: 许可证:Apache 2.0 构建: Linux sudoer 权限... 部署和配置 cloudera 集群,包括可选的 MongoDB 集群和 MySQL
一、shuffle原理分析 1.1 shuffle概述 Shuffle就是对数据进行重组,由于分布式计算的特性和要求,在实现细节上更加繁琐和复杂。 在MapReduce框架,Shuffle是连接Map和Reduce之间的桥梁,Map阶段通过shuffle读取数据...
第二章:Hue的定制化编译与部署 1.Hue的依赖环境构建 2.Hue基础配置更改 3.Hue定制化编译 4.Hue的安装及服务管理详解 第三章:Hue与Hadoop及Hive集成 1.Hue配置集成Hadoop 2.Hadoop配置代理用户 3.Hue...
Hadoop生态系统 Ambari (安装部署工具) Zookeeper (分布式协调服务) HBase (分布式协数据库) Oozie (作业流调度系统) HDFS (分布式存储系统) YARN (分布式计算框架) MapReduce (离线计算) Tez (DAG...
9.Zookeeper部署及典型应用 10.Hadoop数据入库系统Flume与Sqoop 11.数据分析系统Hice与Pig应用与比较 12.数据挖掘工具包Mahout 13.工作流引擎Oozie与Azkaban应用 14.两个综合案例:日志分析系统与机器学期平台