安装HDFS插件
1.配置Hadoop环境变量,在/etc/profile文件末尾增加如下配置:
export HADOOP_HOME=/opt/cloudera/parcels/CDH export HADOOP_CONF_DIR=/etc/hadoop/conf.cloudera.yarn
执行命令source /etc/profile命令使其立即生效,建议退出终端重新登录,否则会在启动Azkaban Web服务找不到HADOOP_HOME问题。
2.由于CDH集群启用了Kerberos,安装HDFS插件需要使用到Kerberos账号
在KDC中创建一个azkaban/admin@FAYSON.COM 的用户,使用命令导出该用户的keytab文件放在/opt/cloudera/azkaban/目录下
xst -norandkey -k azkaban.keytab azkaban/admin@CLOUDERA.COM
3.修改CDH集群HDFS的core-stie.xml配置文件,增加azkaban代理用户
<property> <name>hadoop.proxyuser.azkaban.groups</name> <value>*</value> </property><property> <name>hadoop.proxyuser.azkaban.hosts</name> <value>*</value> </property>
安装HDFS插件
将已经编译好了HDFS的插件azkaban-hdfs-viewer-3.0.0.tar.gz拷贝至/opt/cloudera/azkaban/azkaban-web-server/plugins/viewer目录下
cp azkaban-hdfs-viewer-3.0.0.tar.gz /opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/
进入plugins/views目录下解压azkaban-hdfs-viewer-3.0.0.tar.gz包并重命名为hdfs
进入hdfs/conf目录修改插件配置文件plugin.properties内容如下
viewer.name=HDFS viewer.path=hdfs viewer.order=1 viewer.hidden=false viewer.external.classpaths=extlib/* viewer.servlet.class=azkaban.viewer.hdfs.HdfsBrowserServlet hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0 azkaban.should.proxy=true proxy.user=hdfs/admin proxy.keytab.location=/opt/cloudera/azkaban/hdfs.keytab allow.group.proxy=true file.max.lines=1000
由于集群的Hadoop版本为hadoop2所以hadoop.security.manager.class需要指定为azkaban.security.HadoopSecurityManager_H_2_0
5.拷贝CDH集群中的依赖包至/opt/cloudera/azkaban/azkaban-web-server/extlib目录下
[root@ip-172-31-21-83 ~]# cd /opt/cloudera/parcels/CDH/jars/ [root@ip-172-31-21-83 jars]# scp commons-cli-1.2.jar hadoop-auth-2.6.0-cdh5.13.1.jar hadoop-common-2.6.0-cdh5.13.1.jar hadoop-hdfs-2.6.0-cdh5.13.1.jar protobuf-java-2.5.0.jar commons-configuration-1.7.jar hadoop-yarn-api-2.6.0-cdh5.13.1.jar hadoop-yarn-common-2.6.0-cdh5.13.1.jar /opt/cloudera/azkaban/azkaban-web-server/extlib/ [root@ip-172-31-21-83 jars]# scp htrace-core* protobuf-java-2.5.0.jar /opt/cloudera/azkaban/azkaban-web-server/extlib/
由于CDH集群Hadoop为2.x,所以需要将hdfs插件lib目录下的安全认证的jar包替换为2.x版本
将编译插件/root/azkaban-plugins/dist/hadoopsecuritymanager-yarn/jars目录下的azkaban-hadoopsecuritymanageryarn-3.0.0.jar包拷贝至/opt/cloudera/azkaban/azkaban-web-server/plugins/viewer/hdfs/lib/
重启Azkaban-web-server服务即可
相关推荐
Azkaban - 定时任务系统的配置与运行详解
The Vagrantfile requires the plugin vagrant-triggers. To install the plugin run: $ vagrant plugin install vagrant-triggers 安装Docker的管理程序 Deis 在 vagrant,需要安装vagrant-triggers,由于网络...
主要用于配置eclipse的gradle和jetty插件,使用了azkaban开发环境。
描述真实大数据集群下,azkaban调度得运维实践步骤。 特别是azkaban重启后得一些坑,例如executor在mysql中得元数据记录处理。启动步骤。
azkaban配置邮件内容log链接,可以配置azkaban邮件发送内容中的url链接配置:点击直接指向azkaban web服务器,解决localhost问题
azkaban-executor-server-2.5.0-tar.gz azkaban-web-server-2.5.0-tar.gz azkaban-sql-script-2.5.0-tar.gz
azkaban 编译后tar包。已生产环境使用。 azkaban-db-0.1.0-SNAPSHOT....azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT.tar.gz azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz azkaban-web-server-0.1.0-SNAPSHOT.tar.gz
该压缩包包含了azkaban3.90.0所有组件编译后的文件:azkaban-db、azkaban-exec-server、azkaban-solo-server、azkaban-web-server、azkaban-hadoop-security-plugin、az-reportal、az-crypto、az-hadoop-jobtype-...
该压缩包包含了azkaban3.90.0所有组件编译后的文件:azkaban-db、azkaban-exec-server、azkaban-solo-server、azkaban-web-server、azkaban-hadoop-security-plugin、az-reportal、az-crypto、az-hadoop-jobtype-...
Azkaban实战通过5个不同场景介绍原理
Azkaban插件 由于此插件存储库难以维护,因此AZ团队正在积极将插件代码移至主要的azkaban存储库。 如果您错过查找某些代码的话,可能要查看 。 有关所有Azkaban插件文档,请转到
azkaban-web-server-亲测可用, 需要进行简单的配置就可以使用
azkaban-hadoop-security-plugin/build/distributions/azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT.tar.gz azkaban-solo-server/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz azkaban-web-...
该压缩包包含了azkaban3.43.0所有组件的编译文件:azkaban-web-server-3.43....所有的编译在linux下解压即可,配置好相关的配置信息,启动即可使用。教程:https://blog.csdn.net/qq_37279279/article/details/81541869
版本:3.38,解压后,配置自己的环境可直接用 azkaban-3.38.0\azkaban-db azkaban-3.38.0\azkaban-exec-server azkaban-3.38.0\azkaban-solo-server azkaban-3.38.0\azkaban-web-server ----------------后续步骤---...
此Azkaban是在官网上下载后经过编译的,Azkaban安装包版本为3.56.0,包含了依赖包。只需解压即可使用。
2、azkaban的复杂的依赖配置可以变成简单的参数传递,自动生成flow和上传flow,省去了中间复杂的配置过程,开箱即用 3、接口直接执行azkaban,无需人工登录azkaban触发执行 4、核心代码可以直接复用,用于对...
大数据技术之Azkaban.docx
4、azkaban-3.51.0 通过api进行操作azkaban界面功能 网址:https://blog.csdn.net/chenwewi520feng/article/details/130749415 介绍azkaban通过其api调用其通过页面提供的功能
AzkabanAPI接口文档汇总