`
fighting_2013
  • 浏览: 14785 次
  • 性别: Icon_minigender_1
社区版块
存档分类
最新评论

Oozie安装部署

阅读更多
1.oozie包的下载
3.0.*版本或者之前的版本是可以离线安装的(例如oozie-3.0.2-distro.tar.gz),在往上的版本(例如
oozie-3.3.2-distro.tar.gz和oozie-4.0.0-distro.tar.gz等)都是在线安装的版本,需要用到MAVEN工具,在安装过程中可能会碰到依赖问题,可以修改相关的POM文件。
2.解压相关tar包
tar -xzvf oozie-3.3.2-distro.tar.gz
3. 进入到解压好的目录下面,编辑 bin/addtowar.sh文件,修改相应的hadoop版本支持,4.0.0可以不用修改。
if [ "${version}" = "0.20.1" ]; then
    #List is separated by ":"
    hadoopJars="hadoop*core*.jar"
elif [ "${version}" = "0.20.2" ]; then
    #List is separated by ":"
    hadoopJars="hadoop*core*.jar"
elif [ "${version}" = "0.20.104" ]; then
    #List is separated by ":"
hadoopJars="hadoop*core*.jar:jackson-core-asl-*.jar:jackson-mapper-asl-*.jar"
elif [ "${version}" = "1.2.1" ]; then
#List is separated by ":"
hadoopJars="hadoop*core*.jar:jackson-core-asl-*.jar:jackson-mapper-asl-*.jar:commons-configuration-*.jar"
修改成需要匹配的hadoop版本
4. 修改conf/oozie-site.xml文件中的数据库配置,修改相关JPAService选项,也可不修改,使用自带的derby数据库。
<property>
        <name>oozie.service.JPAService.create.db.schema</name>
        <value>true</value>
</property>
<property>
        <name>oozie.service.JPAService.jdbc.driver</name>
        <value>com.mysql.jdbc.Driver</value>
</property>
<property>
        <name>oozie.service.JPAService.jdbc.url</name>
        <value>jdbc:mysql://192.168.9.156:3306/oozie</value>
</property>
<property>
     <name>oozie.service.JPAService.jdbc.username</name>
     <value>oozie</value>
</property>
<property>
     <name>oozie.service.JPAService.jdbc.password</name>
     <value>oozie</value>
</property>
5.在oozie-3.3.2下新建文件夹libext,将mysql驱动包放入其中
6. oozie-3.3.2下执行./bin/oozie-setup.sh -hadoop 1.2.1 ${HADOOP_HOME} -extjs ../ext-2.2.zip,命令会拷贝hadoop、ext相应的包到oozie的war中,4.4.0的版本是把相关的hadoop、ext包拷贝到libext下,
执行./bin/oozie-setup.sh prepare-war 命令即可  
 
7.启动oozie
./bin/oozie-run.sh 或者用 ./bin/oozied.sh run

在浏览器中查看 http://namenode:11000/oozie 看到相关页面则表示安装成功
如果在访问过程中报访问拒绝异常,查看hadoop conf/core-site.xml文件是否有以下内容
<property>
   <name>hadoop.proxyuser.hadoop.hosts</name>
   <value>namenode</value>
</property>
<property>
    <name>hadoop.proxyuser.hadoop.groups</name>
    <value>hadoop</value>
</property>
分享到:
评论

相关推荐

    Oozie安装部署及任务定义说明

    Oozie 部署 1 1、Maven 安装 1 3、整合Oozie和Hadoop 8 Oozie提交MapReduce任务事例 8 1上传lib和wf到hdfs上 8 2修改job.properties文件 8 3:修改workflow.xml 9 4:执行oozie客户端命令执行mapreduce 10 配置oozie...

    快速学习-Oozie的部署

    第3章 Oozie的部署 3.1 部署Hadoop(CDH版本的) 3.1.2 修改Hadoop配置 core-site.xml hadoop.proxyuser.atguigu.hosts * hadoop.proxyuser.atguigu.groups * mapred-site.xml mapreduce.jobhistory....

    2018最新高清大数据协作框架全套视频教程(Sqoop,Flume,Oozie,WEB工具Hue)

    第1章 数据转换工具Sqoop 1.02_02_01_01 大数据Hadoop 2.x协作.框架的功能 网页.mp4 1.02_02_01_02 Sqoop 功能概述和版本、架构讲解 网页.mp4 1.02_02_01_03 Sqoop 使用...3.02_02_03_05 Oozie安装部署讲解一 网页.mp4

    Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署

    5、资源价值:大数据组件搭建的详细实践步骤、一次性提供较全面的常用大数据集群及组件安装部署内容、资源是博主结合官网文档+网上各类搭建文档+本人亲自实践后总结整合的文档(包括过程踩坑记录+对应解决方案)。

    Oozie大数据调度系统从入门到精通视频教程

    7.Oozie的部署配置 第三章:Oozie调度开发实战 1.Shell脚本工作流调度开发实战 2.Hive Job工作流调度开发实战 3.MapReduce工作流调度开发实战 4.复杂工作流调度实战 5.分支与合并逻辑控制组件 第四章:...

    Oozie安装教程

    格式化集群并启动二、部署oozie1.上传安装包2.解压3.集成jar包4.修改oozie的配置文件4.1JDBC驱动包4.2jdbc url4.3数据库用户名4.4数据库密码5.在MySQL中创建数据库6.初始化oozie7.启动 本人在安装oozie的

    安装Oozie4.1.0-CDH版本

    安装Oozie4.1.0-CDH版本 这个安装过程同样适用于oozie4.1.0的其他的CDH版本。 先对文件进行下载: 这里使用的是CDH版本的,免编译,看着编译的过程就够了。下载地址: ...

    hdp集群从0到1搭建

    3.8 部署Oozie 3.9 部署Ranger 3.10 部署Sqoop 3.11 部署 DataX 3.12 部署Azkaban 3.13 部署Presto 3.14 部署Elasticsearch 3.15 卸载Ambari集群 3.16 故障排除 二 hadoop技术验证(鲲鹏) 1 数据同步性能(sqoop\...

    slippin-jimmy:实用程序在AWS EMR上构建和部署oozie工作流

    Oozie工作流程工具AKA Slippin Jimmy 生成Oozie工作流可能是一项繁琐的任务,对XML进行编码并不好,因此您可以使用process_templates.py脚本从Jinja模板中生成它们。 安装模块 # pip install slippinj 关于依赖关系...

    小白快速掌握CDH的安装和配置视频教程

    从基础知识点到安装部署、集群配置、各种服务安装到增加新节点,通过知识点 + 实际操作的方式帮助小白快速掌握CDH的安装和配置。 课程亮点 1,Cloudera Manager可视化、自动部署和配置,稳定性好 2,理论+操作,...

    win10下搭建Hadoop环境(jdk+mysql+hadoop+scala+hive+spark) 3.docx

    win10下搭建Hadoop(jdk+mysql+hadoop+scala+hive+spark),包括jdk的安装、mysql安装和配置,hadoop安装和配置,scala安装和配置,hive安装和配置,spark安装和配置。

    1、azkaban介绍、三种(solo-server、two-server和multiple-executor)部署方式及验证

    1、azkaban介绍、三种(solo-server、two-server和multiple-executor)部署方式及验证 网址:https://blog.csdn.net/chenwewi520feng/article/details/130728956 介绍阿兹卡班的主要功能、应用场景以及三种部署方式...

    Cloudera Hadoop 5&amp;Hadoop高阶管理及调优课程

    Cloudera Hadoop 5&Hadoop高阶管理及调优课程,完整版,提供课件代码资料下载。 内容简介 ...3、Impala、Oozie和Hue的部署、使用操作及调优 4、Hadoop安全认证及授权管理 5、Hadoop各组件性能调优

    价值上万的视频教程互联网程序开发+大数据+Hadoop、hive、Spark

    lg大数据高薪训练营 ...· 安装部署 · RDD概述 · 编程模型 · 持久化&检查点机制 · DAG · 算子详解 · RDD编程进阶 · 累加器&广播变量 Spark SQL · SparkSQL · DataFrame · DataSet · 自定义

    编译好的azkaban,3.90.0版本

    azkaban源码安装由于国内网络等各种原因踩了很多坑,终于编译好了,可下载修改配置就可以直接使用了。

    cloudify-cloudera:用于部署和配置 cloudera 集群的 Cloudify 脚本,以及各种 cloudera 服务(HDFS、MapReduce、Hue、Zookeeper、Oozie 等)

    云朵 类型:应用状态:已测试描述:cloudera 配方 1.0.0 维护者:Fastconnect 维护者邮箱: 贡献者:主页: 许可证:Apache 2.0 构建: Linux sudoer 权限... 部署和配置 cloudera 集群,包括可选的 MongoDB 集群和 MySQL

    Spark的Shuffle总结分析

    一、shuffle原理分析 1.1 shuffle概述 Shuffle就是对数据进行重组,由于分布式计算的特性和要求,在实现细节上更加繁琐和复杂。 在MapReduce框架,Shuffle是连接Map和Reduce之间的桥梁,Map阶段通过shuffle读取数据...

    Apache Hue 2小时轻松搞定大数据可视化终端视频教程

    第二章:Hue的定制化编译与部署 1.Hue的依赖环境构建 2.Hue基础配置更改 3.Hue定制化编译 4.Hue的安装及服务管理详解 第三章:Hue与Hadoop及Hive集成 1.Hue配置集成Hadoop 2.Hadoop配置代理用户 3.Hue...

    大数据平台简介.pptx

    Hadoop生态系统 Ambari (安装部署工具) Zookeeper (分布式协调服务) HBase (分布式协数据库) Oozie (作业流调度系统) HDFS (分布式存储系统) YARN (分布式计算框架) MapReduce (离线计算) Tez (DAG...

    Hadoop学习资料

    9.Zookeeper部署及典型应用 10.Hadoop数据入库系统Flume与Sqoop 11.数据分析系统Hice与Pig应用与比较 12.数据挖掘工具包Mahout 13.工作流引擎Oozie与Azkaban应用 14.两个综合案例:日志分析系统与机器学期平台

Global site tag (gtag.js) - Google Analytics