- 浏览: 23602 次
- 性别:
- 来自: 深圳
文章分类
最新评论
一.安装JDK环境:根据自己的linux系统选择相应的版本,比如我的centos7是x64的,所以我选择jdk-8u74-linux-x64.tar.gz下载
下载下来以后,我们将其移到我们创建的一个目录中,存放tar包的目录为/usr/local/src/jdk,然后解压:
tar -zxf /usr/local/src/jdk/jdk-7u65-linux-x64.tar.gz
编辑 vi /etc/profile 文件
在文件后面添加:
export JAVA_HOME=/usr/local/src/jdk/jdk1.8.0_74
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$CLASSPATH:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
执行 . /etc/profile
配置成功后,关闭终端,重新进入,输入java –version 如果出现版本号什么的,就证明jdk安装成功
二.将data-integration文件夹直接拷贝到/usr/local/kettle文件夹下面
cd /usr/local/kettle/data-integration 进入该目录
为所有.sh文件赋予执行权限
chmod +x *.sh
然后在终端键入./kitchen.sh 如果出现帮助信息,说明kettle安装成功
./kitchen.sh -----运行job
./span.sh -----运行转换
1. 在kettle下建立data 文件夹,用来存放转换和job文件
建立ktllog 文件夹,用来存放日志文件
建立ktlsh 文件夹,用来存放脚本文件
1. 在ktlsh文件夹中新建执行job的文件,
新建文件命令: touch xxx.sh
并赋予文件执行权限
chmod +x xxx.sh
编辑xxx.sh文件
Vi xxx.sh
输入 :
#!/bin/sh
source /etc/profile 配置环境变量(使用crontab时候,由于crontab不识别系统的环境变量,所以需要我们这边再配置一遍)
ROOT_TOPDIR=/usr/local/kettle
export ROOT_TOPDIR --设置kettle目录
$ROOT_TOPDIR/data-integration/kitchen.sh –file=需要执行的job的文件(绝对路径)
保存!
可在ktlsh目录下直接执行./xxx.sh 文件运行
三. 可以直接启动./spoon.sh 进行可视化设置,测试数据库,Hadoop连接
/root/.kettle/kettle.properties 进行环境变量赋值
四.任务调度
vim /etc/crontab
0 0 * * * root sh /myhome/usr/kettle/ktlsh/jdt_custom.sh >> /myhome/usr/kettle/ktllog/jdtcustomlog
下载下来以后,我们将其移到我们创建的一个目录中,存放tar包的目录为/usr/local/src/jdk,然后解压:
tar -zxf /usr/local/src/jdk/jdk-7u65-linux-x64.tar.gz
编辑 vi /etc/profile 文件
在文件后面添加:
export JAVA_HOME=/usr/local/src/jdk/jdk1.8.0_74
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:$CLASSPATH:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
执行 . /etc/profile
配置成功后,关闭终端,重新进入,输入java –version 如果出现版本号什么的,就证明jdk安装成功
二.将data-integration文件夹直接拷贝到/usr/local/kettle文件夹下面
cd /usr/local/kettle/data-integration 进入该目录
为所有.sh文件赋予执行权限
chmod +x *.sh
然后在终端键入./kitchen.sh 如果出现帮助信息,说明kettle安装成功
./kitchen.sh -----运行job
./span.sh -----运行转换
1. 在kettle下建立data 文件夹,用来存放转换和job文件
建立ktllog 文件夹,用来存放日志文件
建立ktlsh 文件夹,用来存放脚本文件
1. 在ktlsh文件夹中新建执行job的文件,
新建文件命令: touch xxx.sh
并赋予文件执行权限
chmod +x xxx.sh
编辑xxx.sh文件
Vi xxx.sh
输入 :
#!/bin/sh
source /etc/profile 配置环境变量(使用crontab时候,由于crontab不识别系统的环境变量,所以需要我们这边再配置一遍)
ROOT_TOPDIR=/usr/local/kettle
export ROOT_TOPDIR --设置kettle目录
$ROOT_TOPDIR/data-integration/kitchen.sh –file=需要执行的job的文件(绝对路径)
保存!
可在ktlsh目录下直接执行./xxx.sh 文件运行
三. 可以直接启动./spoon.sh 进行可视化设置,测试数据库,Hadoop连接
/root/.kettle/kettle.properties 进行环境变量赋值
四.任务调度
vim /etc/crontab
0 0 * * * root sh /myhome/usr/kettle/ktlsh/jdt_custom.sh >> /myhome/usr/kettle/ktllog/jdtcustomlog
发表评论
-
Canal相关理解
2017-12-29 16:18 428转载:http://www.importnew.com/251 ... -
kettle部署
2017-12-26 16:04 6591.将jmbi sql先上生产环境, 参考附件jmbi.sql ... -
crontab定时运行MR不行,手动shell可以执行成功问题排查过程
2017-12-26 15:48 783设置了定时任务,但MR任务没有执行。 第一步:手动执行she ... -
Flume+kafka+Spark Steaming demo2
2017-11-22 13:15 427一,flume配置 # Name the components ... -
Flume+Kafka+Spark Steaming demo
2017-11-21 15:21 405一.准备flume配置 a1.sources = r1 a1. ... -
HBase表导出成HDFS
2017-10-19 19:40 856导出步骤:在old cluster上/opt/cloudera ... -
zepplin实战
2017-10-13 16:10 331一句话介绍Zeppelin 以笔记(Note)的形式展示的数据 ... -
Azkaban安装
2017-10-10 18:32 872一.下载 https://github.com/azkaban ... -
KYKIN安装
2017-09-30 17:35 121. Kylin的一些概念 No. 关键字 解释 1 Kyl ... -
KYKIN安装
2017-09-30 17:40 3271. Kylin的一些概念 No. 关键字 解释 1 Kyl ... -
Logstash安装部署配置
2017-04-28 10:24 947为了实现各业务平台日志信息采集到大数据平台hdf ... -
HBASE API
2017-04-18 11:01 439package org.jumore.test; impor ... -
Ambari卸载shell
2017-03-28 17:28 430#!/bin/bash # Program: # uni ... -
linux ssh 相互密码登录
2017-02-22 13:40 3511.修改集群各机器名称 vim /etc/sysconfig/ ... -
hadoop环境搭建
2017-01-23 17:31 319192.168.23.231 server1 192.168. ... -
环境安装
2017-01-17 16:26 357物理机部署分配 3台物理机上部署 Zookeeper 3个,F ... -
Storm demo
2016-12-19 15:50 413public class SentenceSpout exte ... -
运行Hadoop jar 第三方jar包依赖
2016-08-22 13:47 960将自己编写的MapReduce程序打包成jar后,在运行 ha ... -
windows10下运行MR错误
2016-07-05 13:45 1567当在windows下运行MR程序时,会报各种错误。现把这次碰到 ... -
HBase问题
2016-06-16 17:02 2471.java.net.UnknownHostException ...
相关推荐
linux部署 kettle (图文步骤,超详细)
1、Linux环境安装jdk 2、上传kettle安装包 3、配置jdk环境变量 4、kettle之kjb、ktr,可执行shell脚本
linux centos环境kettle部署与定时作业执行,由于其他相关安装包资源较大,所以分开上传
Linux_下部署Kettle,Linux_下部署Kettle,Linux_下部署Kettle
kettle在linu系统下的安装和运行,常见的安装错误和解决方案,以及在linx环境下设置定时任务运行
libwebkitgtk包、rpmdir
Linux系统下面kettle的部署手册,详细介绍了部署步骤,使用的命令等
kettle-linux环境下部署kettle,执行kitchen.sh文件报错后安装 libwebkitgtk,提示没有可用软件包libwebkitgtk,centos7.5亲测可用。
亲测好用 kettle-linux环境下部署kettle,执行kitchen.sh文件报错后安装 libwebkitgtk,提示没有可用软件包libwebkitgtk 详细流程:https://blog.csdn.net/m0_37618809/article/details/81015492#commentBox
关于kettle7.0在Redhat和centos中部署的相关操作
kett在linux下的部署,kettle是etl工具,非常强大,对于做数据分析非常有用
linux下kettle7.1部署和使用借鉴.pdf
kettle 配置hbase kettle简介 kettle分析hbase数据 kettle linux部署
官网下载的资源,几k的速度载了蛮久了,自己放网盘了,下载地址分享给大家 pdi-ce-8.3.0.0-371 pdi-ce-8.2.0.0-342 ...附带一个xulrunner-1.9.2.28pre.en-US.linux-x86_64.tar,在linux使用时候会用到
linux环境下部署kettle,libwebkitgtk的rpm安装包,执行kitchen.sh文件报错后安装 libwebkitgtk,提示没有可用软件包libwebkitgtk所需rpm包
BI Kettle中文文档汇集 ELT平台操作手册-... linux下部署kettle.pdf 开源ETL工具-PentahoKettle使用入门.pdf 开源ETL工具kettle系列之动态转换.pdf 我的kettle学习笔记.pdf 测试ETL工具都应测试哪些方面.pdf
kettle-linux环境下部署kettle,执行kitchen.sh文件报错后安装 libwebkitgtk,提示没有可用软件包libwebkitgtk。安装流程参考https://blog.csdn.net/m0_37618809/article/details/81015492#commentBox
kettleaarch64架构包