taskctl是什么?
批量调度自动化技术是大数据时代数据整合后台不可缺少的重要技术。数据是黄金,数据是整个社会乃各企业团体的重要资产,管好数据、用好数据是整个社会的重要命题。想要用好数据,首先就应该管好数据。而批量调度自动化技术,正是管好数据的重要保证。在众多大大小小数据仓库、数据集市以及各种各样的数据池子中,是批量调度自动化技术让大量数据的进出、存放、清洗、过滤、粗加工、细加工等各种各样的工作有序、高效的展开。没有批量调度自动化的数据管理、数据整合等ETL工作,就像一家大公司没有领导,所有工作必将变得紊乱、低效、失控。
没错,批量调度自动化技术对数据整合、对各种各样的ETL,就像领导对公司的意义。同时,批量调度自动化技术又像优秀的职业经理人,没有行业的限制,它是一种与业务无关的纯技术体系。因此,将该技术独立化、系统化、专业化、工具化、产品化,必将给整个ETL技术领域、数据整合领域带来很大的帮助,让整个数据整合技术世界变得更美好。
TASKCTL就是这样一款批量调度自动化技术专业产品。该产品概念新颖,体系完整、功能全面、使用简单、操作流畅,超前的设计使产品在业界独树一帜,它不仅有完整的调度核心、灵活的扩展,同时具备完整的应用体系。该产品特别在流程设计,流程图展示方面与业界同类产品方案相比,不仅取得突破性的进展,而且在图形直观性、操作简便性、灵活性方面有质的飞跃。
产品结构
TASKCTL自动化技术标准产品采用典型的C/S模式,应用层为客户端,控制层为服务端。同时,服务端完成对目标层的调度控制。
应用层
应用层从功能的角度,主要分admin、designer和monitor。从应用渠道的角度,又分桌面客户端渠道与后台字符界面客户端渠道。同时,为了进一步方便用户,系统服务端还提供了丰富的控制操作行命令。
控制层
控制层是多级金字塔架构,顶层为服务控制节点,完成各种调度服务控制以及为客户端提供各种操作应用服务。而代理层完成与目标服务器(ETL等)的控制交互。另,代理层通过主从代理级联方式,可实现对集群部署的服务器进行调度控制,实现负载均衡等。
目标层
目标层,是整个产品所控制的目标,比如我们的ETL服务器,作业工作站等。
核心组件逻辑架构
产品核心是在自主创新核心技术:无数据库存储访问、全事件组件间通信触发(消息队列)、动态数据全内存访问的基础上构建的。
在整个逻辑架构中,每一个组件对应一个系统进程,整个核心功能就是由不同功能的进程有序协同完成。
核心组件说明:
FDC - Flow Dispatch Core
DRR - Dispatch Request Router
DAR - Dispatch Answer Router
STR - Send Message To Remoto
KIM - Kernel Integrate Manange
NLS - Net Listten
SPS - Search Plugin State
CPG - Call Plugin
UCD - User Command Deal
EMR - Kernel Event Manange And Release
JMM - Job Mutex Manange
DSY - Data Synchronous
FIM - Flow Instance Manange
关注官方公众微信号"taskctl",了解更多开发组件API及使用说明
功能体系
十大特征功能
1.十万级作业规模调度支持
TASKCTL从2.0开始,就定位为企业级调度基础软件,能实现10万级任务调度控制,能满足各大企业的调度规模需求。
2.支持各种技术平台的集成,能实现各种作业类型的调度
TASKCTL是一个开放的调度平台,为了适应诸如Datastage、Informatic、kettle、一体机、大数据、存储过程、java以及各种脚本任务程序的支持与扩展,同时保证不同任务类型的应用统一,TASKCTL对作业的控制采用插件驱动机制,从而实现不同技术平台、不同作业类型调度控制。
3.多级高可用(HA)、分布式、负载均衡企业级特征
为了保证系统的高可用性、高扩展性,整个产品核心设计采用层级架构。通过"Server(调度控制中心)" + "Agent(代理)"协调工作,完成各种复杂的调度控制,同时,通过Server主备,Server和Agent分布式集群部署,实现高可用性与负载均衡的企业级系统特性。
4. 丰富的应用渠道、完整的应用体系
TASKCTL不仅将系统应用功能按应用类型通过Admin、Designer、Monitor三个软件来组织与应用,同时又按不同应用渠道分C/S模式桌面客户端、C/S模式字符界面客户端以及B/S模式监控应用端。它们分别构成完整的应用系统,用户可以根据自己的操作习惯与具体应用环境,选择合适的客户端渠道进行应用操作。
5.灵活用户权限管理
为了实现用户对各个作业流程资源的操作控制,TASKCTL采用操作系统的用户管理机制,TASKCTL将设计流程对象化、文件化,每个流程可以对拥有者、同组、其它用户分别授予读、写、操作权限,这种机制可以让用户对不同项目的的不同流程灵活授予读写操作权限。
6.流程作业的多级组织架构
流程作业信息是调度的核心信息,为了有效管理与控制这些信息,TASKCTL通过主题应用、流程(子流程)、模块等多级体系来组织作业信息,使整个平台的作业信息结构更清晰、更易管理、更易控制。
7.强大的核心调度功能
①灵活的流程驱动
一个作业流程的开始,可以通过文件到达触发、自定义周期定时触发(n分钟、n小时、n天等)以及自定义事件触发等。
②完整的调度控制策略
关系策略: 可以实现作业、作业流之间的并行、互斥以及任意依赖控制。特别是依赖控制,系统通过串行、单点依赖、事件依赖以及自定义条件等机制,可以实现作业流内、不同作业流、不同ETL作业服务器以及不同业务日期、不同批次间任意作业的依赖控制。
排程计划策略: 实现任意自然日历、逻辑日期排程计划;一个流程内可实现自然日历与多个逻辑日期的混合排程计划。
容错策略:可以实现作业错误后自动重跑,并可指定重跑次数,还可以实现错误重试次数满后,自动决定任务是否通过或失败。
强大的自定义策略: 一个任务是否运行、忽略以及等待,用户可以通过自定义条件来确定。一方面,可以采用系统提供的内置函数用于条件判断;还可以通过自定义脚本程序来实现条件判断。
灵活的参数传递
用户可以通过定义全局变量、流程私有变量来实现定义各种信息的宏替换、作业参数传递、流程间变量信息传递等。另外,TASKCTL还可实现一个任务的返回值当作另外一个任务的入口参数来传递。
8.全方位实时监控作业运行
为了用户实时了解作业的运行状况,TASKCTL整体采用实时刷新、图形、多角度多口径统计以及短信等方式对整个平台作业进行全方位监控,以便用户及时掌握哪些作业正在运行、错误原因、失败、警告等信息
9.灵活的人工干预维护
人工干预是自动调度系统必不可少的功能。用户可以通过人工操作实现流程的暂停、重置、断点设置与作业的重跑、强制成功以及忽略通过;用户可以通过流程自由模式启动来实现任意作业以及任意作业分支的人工运行等。
10.专业的图形用户界面
TASKCTL的图形用户界面能够完成上述的所有功能。它将众多功能集成于一个直观的图形界面中,使得用户不用熟悉各种命令、作业定义语言等,就可迅速掌握与使用,进一步方便了用户。
相关推荐
etl-kettle-webetl, kettle, web,1、参考了:2、基于该项目,将kettle的web网页版本升级为springboot工程。3、欢迎有兴趣的小伙伴,一起讲前端改造成vue.js4、有兴趣的也可以直接修改并提交代码,或联系qq:406419768
kettle-scheduler背景Kettle作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成...
BI ETL ELT Kettle 基础知识中文文档汇总 BI项目中ETL设计与思考.pdf CTL工具.pdf ETL-开发规范.pdf ETL_--_事实表.pdf ETL_文档.pdf ETL_架构.pdf ETL_调度系统技术方案说明书_V1.0.pdf ETL中的数据清洗...
Kettle根据参数循环调度, 作业名称:总调度-监控数据量 作 者: 鲁班 开发时间:2019.04.03 加载频率:日 加载策略:全量 程序描述:监控数据量
每次都要安装一遍,耗费收益简介 Smart Kettle是针对上述企业的痛点,对kettle的使用做了一些包装、优化,使其在web端也能 具备基础的kettle作业、转换的配置、调度、监控,能在很大一定程度上协助企业完成不同业务...
pentahokettle数据同步教程,从基础环境配置到实践操作,从转换到作业调度,再到服务器部署随机启动调度整体讲解,如需安装包,请找pentahokettle数据同步教程同步安装包下载
提醒及windows的后台定时任务,使用windows自带计划管理程序的原因: Kettle自带的定时任务调度不太稳定,而且必须打开Kettle,可以通过windows的任务计划程序调用Kettle的Kitchen.bat来实现定时作业。
具备基础的kettle作业、转换的配置、调度、监控,能在很大一定程度上协助企业完成不同业务场景下 数据的ETL(抽取、转换、加工)的能力。 注意:本系统并非是对kettle源码的再造,而是借助kettle的API,实现kettle在...
Kettle是一个颇受认可的开源ETL工具,2006年被Pentaho收购,2015年又被Hitachi Vantara收购,正式命名为PDI。 PDI EE(企业商用版)改进了PDI CE(开源社区版)在作业调度监控、系统安全机制、高可用性架构、对接SAP...
支持并发,单独日志,有问题私聊 可用于:调度任务,参数化使用
Kettle 数据抽取, CDC快照更新 ,清洗和校验 ,处理维度表,数据分流,去重加载,调度
参数化配置数据库连接,以及简单shell如何传参调度Kettle
KettlePack是一个基于Kettle9(兼容Kettle8及其他版本)的web端调度监控管理平台,专门用来调度和监控由Kettle客户端创建的Job和Transformation,安装使用简单方便,并拥有完善的帮助文档和在线支持,目前基本可以...
欢迎相同爱好者加入一起维护此项目webKettleETL产品介绍webkettle平台,优化的将平台构建为B / S架构的ETL模型设计以及集成用户专业调度管理的分布式ETL建模运维系统。系统分为七大模块:模型,平台,任务,定时调度...
ETL:交换任务调度
在开源ETL工具Kettle的基础上,设计实现能够定制触发规则、根据调度周期自主运行交换作业的数据交换工具GoData,该工具支持跨节点跨网段的数据交换作业,同时具有节点监控及错误作业预警和消息推送功能,支持集群和...
人工智能-hadoop
传统⾏业 数据库:Oracle、DB2、TD(MPP结构,列式存储)、GP(MPP结构,列式存储)、SybaseIQ(MPP结构,列式存储)、MySql Inforbright、 MsSql、等 ETL⼯具:Informatica、DataStage、Kettle、Automation(调度平台)、...
这⾥和kettle中创建ETL的job应该是类似的; 4、hive的任务可以由crontab定时调度; 查询的优化 1、由于hive的实时性⽐较差,因此我们可以将数据从hive中同步到hbase,在hbase中提供对外查询的接⼝; 数据分析 1、BI...