`

kettle集群服务部署

阅读更多
本实验使用的服务器:

127.0.0.1 lixuemei-PC

10.2.2.11 DBM011
10.4.2.12 DBM012
10.2.2.10 DBM010

三、carte相关配置文件说明

本实验开启的四个carte服务,其中一台为Master另外三台为Slave,来实现在Kettle的Spoon中对mysql数据库中数据表读取后,以集群方式来执行排序的过程。

Carte的配置文件所在路径:F:\BDE\kettle\data-integration\pwd

(1)主服务器(carte-config-master-8080.xml)的配置内容为:

  <slaveserver>

   <name>master1</name>

   <hostname>lixuemei-PC</hostname>

   <port>8080</port>

   <master>Y</master>

  </slaveserver>

其中<hostname>lixuemei-PC</hostname>表示以本机作为主服务器。在本机的C:\Windows\System32\drivers\etc\hosts 文件中添加内容:127.0.0.1 lixuemei-PC。相应的其他三个服务器上的hosts文件中也添加内容:10.200.4.163lixuemei-PC。

(2)子服务器(carte-config-8082.xml)的配置内容为:

<masters>



    <slaveserver>

     <name>master1</name>

     <hostname>lixuemei-PC</hostname>

     <port>8080</port>

      <username>cluster</username>

     <password>cluster</password>

     <master>Y</master>

    </slaveserver>



  </masters>



<report_to_masters>Y</report_to_masters>



  <slaveserver>

   <name>slave2-8082</name>

   <hostname>10.2.2.11</hostname>

    <port>8082</port>

   <username>cluster</username>

   <password>cluster</password>

   <master>N</master>

  </slaveserver>

         其中<hostname>10.2.2.11</hostname>为子服务器的ip。

         同样方式设定其他自服务器(carte-config-8083.xml、carte-config-8085.xml)的配置内容。把更改好的windows下的pwd文件夹分别覆盖其他三个服务器上的相应文件夹。

四、carte服务开启

对于Windows运行:Carte.batIP address port

对于Linux运行:carte.shIP address port

图1所示启动windows上的主节点,并已启动成功。












  • 大小: 122.6 KB
  • 大小: 102.9 KB
  • 大小: 104.3 KB
  • 大小: 57.7 KB
分享到:
评论

相关推荐

    Kettle集群部署详解

    Kettle集群是由一个主master服务器和多个从node服务器组成的,类似于master-slave结构,不同的是’master’处理具体任务,只负责任务的分发和收集运行结果。 Master carte结点收到请求后,把任务分成多个部分交给...

    linux部署 kettle (超详细)

    linux部署 kettle (图文步骤,超详细)

    利用kettle运行job,完成以上的两个过程.mp4

    利用kettle运行job,完成以上的两个过程.mp4Kettle研究-1-ETL认识与Kettle研读 ETL工具Kettle研究-2-Kettle安装部署 ETL工具Kettle研究-3-MySQL数据导入HIVE ETL工具Kettle研究-4-同步和更新备份表

    BI Kettle中文文档汇集

    BI Kettle中文文档汇集 ... Kettle集群.pdf linux下部署kettle.pdf 开源ETL工具-PentahoKettle使用入门.pdf 开源ETL工具kettle系列之动态转换.pdf 我的kettle学习笔记.pdf 测试ETL工具都应测试哪些方面.pdf

    Kettle基础培训.pptx

    免费开源ETL工具kettle基础培训,主要包括kettle简单介绍、kettle简单部署和集群部署、spoon图形界面工具介绍、用法实例、常用集成方案、性能调优等。

    史上最强-Kettle-培训教程.pdf

    创建资料库(可省略) 创建数据库连接 创建转换 创建Jobs,进行流程化控制 KETTLE 的使用 进入到Kettle目录,如果Kettle部署在windows环 境下,双击运行spoon.bat文件,出现如下界面: Kettle 使用步骤 (1)创建转换...

    kettle71api.zip

    由于开源的Kettle工具是C/S端的。 公司需要开发B/S端,并根据业务做相关定制化开发,无奈只能苦苦找寻kettle API文档,进行二次开发... kettle 7.x的版本支持集群部署、支持大数据(比如hive、Kafka、Hbase等数据库)。

    强大的分布式ETL数据流利器—LogCollector-2.0

    同时支持单机单实例、多实例部署以及跨云级别的分布式集群部署,分布式场景下通过过载熔断事务反馈机制来保障各子系统数据一致性,收集器可一键安装部署,自动识别系统环境并完成相应配置,无需任何附加操作,解压开...

    carte子服务器配置软件:yajsw-stable-12.13a

    carte是一个轻量级的服务进程,可以支持远程监控,并为转换提供集群的能力。子服务器是集群的最小组成模块,也是一个小型的http服务器,用来接收远程客户端命令,这些命令用于作业和转换的部署、管理和监控。

    大数据大营销——互联网时代大数据营销PPT模板.pptx

    大数据大营销——互联网时代大数据营销PPT模板全文共18页,当前为第1页。...KETTLE任务调度体系 行业品牌标签库 HADOOP集群 缓存模块 C++数据预处理模块 ORACLE RAC集群 用户属性 用户搜索 行业访问 媒体表现 配置信息

    大数据-大营销——互联网时代大数据营销ppt模板.pptx

    大数据-大营销——互联网时代大数据营销ppt模板全文共18页,当前为第1页。...KETTLE任务调度体系 行业品牌标签库 HADOOP集群 缓存模块 C++数据预处理模块 ORACLE RAC集群 用户属性 用户搜索 行业访问 媒体表现

    大数据产品开发流程规范-大数据开发步骤和流程.pdf

    1) 数据采集:定制开发采集程序,或使⽤开源框架flume 2) 数据预处理:定制开发mapreduce程序运⾏于hadoop集群 3) 数据仓库技术:基于hadoop之上的Hive 4) 数据导出:基于hadoop的sqoop数据导⼊导出⼯具 5) 数据...

    基于开源代码的ETL工具的实现

    在开源ETL工具Kettle的基础上,设计实现能够定制触发规则、根据调度周期自主运行交换作业的数据交换工具GoData,该工具支持跨节点跨网段的数据交换作业,同时具有节点监控及错误作业预警和消息推送功能,支持集群和...

    datasphere-integration:以数据为中心的集成平台

    datasphere-integration 数据集成平台介绍 DataSphere 数据集成平台是集数据采集、数据接入、数据交换...分布式集群部署,扩展性高,处理速度快,适合于实时交换共享场景。 可数据容错,平台故障后,可保持数据完整性和

Global site tag (gtag.js) - Google Analytics