- 浏览: 23529 次
- 性别:
- 来自: 深圳
文章分类
最新评论
1.将jmbi sql先上生产环境, 参考附件jmbi.sql
2.kettle安装部署
选好目标机器,装好jdk1.8 然后登录测试环境192.168.1.142,复制kettle安装文件,job,shell脚本
scp -r /d1/usr/kettle root@目标IP:/d1/usr/kettle
scp -r /root/.kettle root@目标IP:/root/.kettle
scp -r /root/.pentaho root@目标IP:/root/.pentaho
修改.kettle文件夹下的kettle.properties配置为生产环境DB连接,hdfs
修改kettle安装目录下job文件夹下的所有转换任务.ktr文件中hdfs://1@192.168.1.141:9000改为生产环境
也可以将附件中的job上传替换原始job
安装kettle集群上增加任务调度
vim /etc/crontab
0 0 * * * root sh /d1/usr/kettle/ktlsh/jdt_custom.sh >> /d1/usr/kettle/ktllog/jdt_custom_log
5 0 * * * root sh /d1/usr/kettle/ktlsh/jdt_base_ciq.sh >> /d1/usr/kettle/ktllog/jdt_baseciq_log
10 0 * * * root sh /d1/usr/kettle/ktlsh/jdt_view.sh >> /d1/usr/kettle/ktllog/jdt_view_log
15 0 * * * root sh /d1/usr/kettle/ktlsh/jdt_increase.sh >> /d1/usr/kettle/ktllog/jdt_increase_log
3.hbase建表,参考附件jmbi_hbase.txt
4.MR部署
将jmframework-1.0.1.jar拷贝到hadoop集群里面所有的安装目录 /d1/usr/hadoop/share/hadoop/common/
其余的jar包拷贝到/d1/dailytask/到hadoop master(10.88.13.16)机器上,比如测试环境的192.168.1.141, 只是这一台就可以了
jmbitaskmr.sh 到hadoop master(10.88.13.16)上,
任务调度
vim /etc/crontab
50 2 * * * root sh /d1/jmbitaskmr.sh
5.service部署,运维常规部署
6.web部署,运维常规部署
7.数据采集spider常规部署,增加了短信提醒功能
2.kettle安装部署
选好目标机器,装好jdk1.8 然后登录测试环境192.168.1.142,复制kettle安装文件,job,shell脚本
scp -r /d1/usr/kettle root@目标IP:/d1/usr/kettle
scp -r /root/.kettle root@目标IP:/root/.kettle
scp -r /root/.pentaho root@目标IP:/root/.pentaho
修改.kettle文件夹下的kettle.properties配置为生产环境DB连接,hdfs
修改kettle安装目录下job文件夹下的所有转换任务.ktr文件中hdfs://1@192.168.1.141:9000改为生产环境
也可以将附件中的job上传替换原始job
安装kettle集群上增加任务调度
vim /etc/crontab
0 0 * * * root sh /d1/usr/kettle/ktlsh/jdt_custom.sh >> /d1/usr/kettle/ktllog/jdt_custom_log
5 0 * * * root sh /d1/usr/kettle/ktlsh/jdt_base_ciq.sh >> /d1/usr/kettle/ktllog/jdt_baseciq_log
10 0 * * * root sh /d1/usr/kettle/ktlsh/jdt_view.sh >> /d1/usr/kettle/ktllog/jdt_view_log
15 0 * * * root sh /d1/usr/kettle/ktlsh/jdt_increase.sh >> /d1/usr/kettle/ktllog/jdt_increase_log
3.hbase建表,参考附件jmbi_hbase.txt
4.MR部署
将jmframework-1.0.1.jar拷贝到hadoop集群里面所有的安装目录 /d1/usr/hadoop/share/hadoop/common/
其余的jar包拷贝到/d1/dailytask/到hadoop master(10.88.13.16)机器上,比如测试环境的192.168.1.141, 只是这一台就可以了
jmbitaskmr.sh 到hadoop master(10.88.13.16)上,
任务调度
vim /etc/crontab
50 2 * * * root sh /d1/jmbitaskmr.sh
5.service部署,运维常规部署
6.web部署,运维常规部署
7.数据采集spider常规部署,增加了短信提醒功能
- jmbi.rar (493.7 KB)
- 下载次数: 0
发表评论
-
Canal相关理解
2017-12-29 16:18 427转载:http://www.importnew.com/251 ... -
crontab定时运行MR不行,手动shell可以执行成功问题排查过程
2017-12-26 15:48 779设置了定时任务,但MR任务没有执行。 第一步:手动执行she ... -
Flume+kafka+Spark Steaming demo2
2017-11-22 13:15 426一,flume配置 # Name the components ... -
Flume+Kafka+Spark Steaming demo
2017-11-21 15:21 403一.准备flume配置 a1.sources = r1 a1. ... -
HBase表导出成HDFS
2017-10-19 19:40 855导出步骤:在old cluster上/opt/cloudera ... -
zepplin实战
2017-10-13 16:10 329一句话介绍Zeppelin 以笔记(Note)的形式展示的数据 ... -
Azkaban安装
2017-10-10 18:32 872一.下载 https://github.com/azkaban ... -
KYKIN安装
2017-09-30 17:35 121. Kylin的一些概念 No. 关键字 解释 1 Kyl ... -
KYKIN安装
2017-09-30 17:40 3261. Kylin的一些概念 No. 关键字 解释 1 Kyl ... -
Logstash安装部署配置
2017-04-28 10:24 945为了实现各业务平台日志信息采集到大数据平台hdf ... -
HBASE API
2017-04-18 11:01 438package org.jumore.test; impor ... -
Ambari卸载shell
2017-03-28 17:28 429#!/bin/bash # Program: # uni ... -
linux ssh 相互密码登录
2017-02-22 13:40 3471.修改集群各机器名称 vim /etc/sysconfig/ ... -
Kettle Linux 安装部署
2017-02-15 17:20 1276一.安装JDK环境:根据自己的linux系统选择相应的版本,比 ... -
hadoop环境搭建
2017-01-23 17:31 316192.168.23.231 server1 192.168. ... -
环境安装
2017-01-17 16:26 356物理机部署分配 3台物理机上部署 Zookeeper 3个,F ... -
Storm demo
2016-12-19 15:50 412public class SentenceSpout exte ... -
运行Hadoop jar 第三方jar包依赖
2016-08-22 13:47 960将自己编写的MapReduce程序打包成jar后,在运行 ha ... -
windows10下运行MR错误
2016-07-05 13:45 1566当在windows下运行MR程序时,会报各种错误。现把这次碰到 ... -
HBase问题
2016-06-16 17:02 2431.java.net.UnknownHostException ...
相关推荐
linux centos环境kettle部署与定时作业执行,由于其他相关安装包资源较大,所以分开上传
Kettle部署操作手册,适用于新手,还望各位高手互相学习。
linux部署 kettle (图文步骤,超详细)
kettle是一个数据抽取的ETL工具,能让大家对大数据迁移更加的帮忙,不再需要面对java接口同步的痛苦。第三章:kettle部署
kettle9.2所需jdbc驱动下载,sqlserver mysql 解压后将jar包放入bin目录即可
创建资料库(可省略) 创建数据库连接 创建转换 创建Jobs,进行流程化控制 KETTLE 的使用 进入到Kettle目录,如果Kettle部署在windows环 境下,双击运行spoon.bat文件,出现如下界面: Kettle 使用步骤 (1)创建转换...
kettle spoon安装操作步骤,可以解决大多数数据库文件转换。
1、Linux环境安装jdk 2、上传kettle安装包 3、配置jdk环境变量 4、kettle之kjb、ktr,可执行shell脚本
Kettle是一个开源项目,作为ETL工具,kettle提供了丰富的功能和简洁的图形化界面。作为免费开源的ETL工具,可以通过其桌面程序进行ETL步骤的开发并执行。kettle以插件形式来实现每个转换步骤的工作,发行版中已经...
整合了Kettle的安装,简单的使用,以及在不同平台的调度配置方法。
Kettle的安装部署 很详细 还有实例讲解 有需要的赶紧了
Linux_下部署Kettle,Linux_下部署Kettle,Linux_下部署Kettle
kettle部署的时候使用,详细请查看上传的文件
kettle文档,对kettle中可能遇到的问题,kettle教程,kettle部署,测试,源代码分析等做了很多文本总结
Kettle7.0使用idea工具部署的源码工程,此包为第二个包,第一个包路径http://download.csdn.net/download/ryc115/10173690。
kettle管理平台系统部署整理。
Linux系统下面kettle的部署手册,详细介绍了部署步骤,使用的命令等
kettle7.0使用idea工具部署的源码工程文件,此包为第一个包。第二个包下载路径http://download.csdn.net/download/ryc115/10173697