博客首页 → ETL

最新文章列表

基于血缘关系的数据溯源工具(sqllineage.com)

数据溯源是什么？  它在我们生活中已经随处可见，从平时的外卖美食到菜鸟快递，以及疫情防控使用的健康码...  准确来说数据溯源是：记录和重现原始数据在整个数据生产的生命周期内，从产生、传播或消亡的演变和处理过程。  那如何获取这些溯源信息？  常用的方法是设计时确立了RFID、二维码之类的可追溯的标识在需要追溯的各个业务阶段都可以通过标识查找到对应的数据。这种通常被称为标注法...  ...
数据血缘数据溯源etlsql大数据 
ding__lin 评论(0) 有1551人浏览 2022-05-13 15:33

批量作业调度、数据挖掘，这几款应该是今年 “最值得推荐” 的ETL工具了

工具传送门： Taskctl商业付费版(付费) Taskctl Web商业免费版（永久免费） Kettle（开源免费） Datastage (付费) ETL是数据仓库中的非常重要的一环，是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础 ...
etlkettle自动化运维大数据处理 
taskctl2012 评论(0) 有282人浏览 2020-12-11 16:26

批量kettle作业调度工具 Taskctl 调度任务监控视图

软件安装: 去公众号 "taskctl" 回复内容 "软件" 或 "领取" 即可; TASKCTL 在线应用简介：‍   Taskctl在线应用版V1.2相比C/S应用端功能完整，并精简部分操作逻辑，适合初学者体验 taskctl 产品，也能作为中小项目生产应用。 实时监控 Monitor 监控概况
taskctl大数据处理自动化运维etl 
taskctl2012 评论(0) 有622人浏览 2020-12-07 15:51

6款ETL国内外主流的调度工具综合对比

工具下载: 去公众号 "taskctl" 回复内容 "领取" 或 "软件" 即可   介绍: ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成， 最后加载到数据仓库或数据集市中，成为联机分析处理、 数据挖掘的基础。 ETL是数据仓库中的非常重要的一环。
数据挖掘xmloracleetl运维 
taskctl2012 评论(0) 有650人浏览 2020-11-27 14:21

ETL调度工具Taskctl—Web应用版【作业设计】

    软件下载地址：去公众号 "Taskctl" 关键字回复 "领取" 即可获得永久授权并使用 认识 Taskctl-web TASKCTL 遵循软件产品标准化的原 ...
etlkettle自动化运维数据挖掘 
taskctl2012 评论(0) 有432人浏览 2020-11-23 14:53

开源etl调度工具Taskctl—web应用版永久授权

初识Taskctl-Web版 Taskctl Free应用版原型是在原有商用版Taskctl 6.0衍生扩展开发出的专门为批量作业调度自动化打造的一款轻便型敏捷调度工具。可为批量作业自动化调度者提供简单的方法来管理各类复杂作业的调度和监控管理。   Taskctl通过将企业内部复杂的作业调度依赖关系，进行灵活的统一编排和管理，带来前所未有的简单性。Taskctl采用全内存计算，基于全事件技术 ...
etl数据挖掘kettleetl调度工具 
taskctl2012 评论(0) 有375人浏览 2020-11-18 17:38

什么是ETL？算了，你可能不懂

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策 ...
etl数据挖掘 
taskctl2012 评论(0) 有751人浏览 2020-08-27 16:41

ETL字符串长度判断并截取

${fn:substring(wjcd.lrsj, 0, 16)} 使用functions函数来获取list的长度 ${fn:length(list)} <c:if test="${fn:length(character) > 19 }"> </c:if> <%@taglib prefix="c"   uri= ...
etl 
刘金剑 评论(0) 有1222人浏览 2017-03-03 11:15

数据仓库建设--概念

数据仓库：Data Warehouse(DW)，一种信息系统的数据存储理论，此理论强调利用某些特殊数据存储方式，让所包含的数据，特别有利于分析处理，以产生有 ...
ODSEDWMARTOLAPETL 
student_lp 评论(0) 有802人浏览 2016-03-31 11:42

ETL

This is a demo about ETL
ETL 
枫叶主人 评论(0) 有444人浏览 2016-03-03 15:44

ETL

This is a demo about ETL
ETL 
枫叶主人 评论(0) 有326人浏览 2016-03-03 15:43

kettle插件开发，json转string 格式

基于kettle版本5.4.0.1-130 1：实现类 2:JSONToStringMeta 说明：配置标签@Step(),初始化程序 extends BaseStepMeta :继承BaseStepMeta implements StepMetaInterface :实现接口StepMetaInterface 整个代码的执行过程是：先运行配置标签meta类型,通过meta类找到Dialog类 ...
kettle插件开发json转string插件开发kettleetl
caiyeyu 评论(0) 有4343人浏览 2016-02-18 15:16

大数据计算前数据抽取（ETL）概述

     ETL，Extraction-Transformation-Loading的缩写，即数据抽取（Extract）、转换（Transform）、装载（Load）的过程，它是构建数据仓库的重要环节。 ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节。通常情况下 ...
ETL数据挖掘数据清洗大数据 
zhangym195 评论(0) 有7700人浏览 2016-02-13 00:10

开源ETL工具kettle--数据迁移

 背景 由于项目的需求，需要将数据从Oracle迁移到MSSQL，不是简单的数据复制，而是表结构和字段名都不一样，甚至需要处理编码规范不一致的情况，如下图所示      注意：Oracle和MSSQL中的同名表的字段名是不相同的 如果要是采用手工SQL语句操作的话会很麻烦，需要考虑 Oracle和MSSQL SQL语法的差异数据从抓取--转化--加载迁移的过程安排字段的映射外键的约 ...
oracle数据迁移ETL工具ETLkettle 
zihai367 评论(0) 有1569人浏览 2015-12-03 10:36

常用的ETL工具

数据的迁移和集成都需要ETL来实现，一般来说在数据仓库的开发过程中ETL会占到70%到80%的时间，下面介绍几种常用的ETL工具（1）Kattle是一个开源的ETL工具，有点免费，适合预算比较少的企业来用，确定不稳定，可维护行比较差（2）DataStage，这是IBM为其配套的DB2开发的ETL工具，也可以用于其它数据库数据的集成，这个工具不错，银行用的挺多的，不过我用不惯这个。（3）Informa ...
oracle数据迁移ETL工具ETL 
zihai367 评论(0) 有925人浏览 2015-12-03 10:35

ETL

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。 ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。 信息是现代企业的重要资源 ...
ETL 
weitao1026 评论(0) 有321人浏览 2015-12-01 15:59

ETL学习笔记之三 工具篇（转）

各企业级ETL工具间的对比 目录1.        目标读者2.        介绍2.1        数据整合的市场趋势2.2        企业ETL3.        产品架构3.1        INFOR ...
ETL 
坏孩子的天空 评论(0) 有10298人浏览 2015-10-14 10:14

ETL学习笔记之二 实现篇（转）

实现ETL过程，一般可以从以下四个方面考虑： （一）、准备区的运用(ODS) 在构建数据仓库时，如果数据源位于一台服务器上，数据仓库在另一台服务器端，考虑到数据源Server端访问频繁，并且数据量大，需要不断更新，所以可以建立准备区数据库(ODS)。先将数据抽取到准备区中，然后基于准备区中的数据进行处理，这样处理的好处是防止了在原OLTP系统中频繁访问，进行数据运算或聚合等操作。如果系统中存在多种不 ...
ETL 
坏孩子的天空 评论(0) 有1492人浏览 2015-10-14 10:04

ETL学习笔记之一 概念篇（转）

ETL，Extraction-Transformation-Loading的缩写，即数据抽取（Extract）、转换（Transform）、装载（Load）的过程，它是构建数据仓库的重要环节。      ETL是将业 ...
ETL 
坏孩子的天空 评论(0) 有879人浏览 2015-10-14 10:01

ETL -- ORACLE -- CDC技术

ETL：  Extract（抽取）-Transform（清洗转换）-Load（加载），常用于数据仓库，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的 ...
ETLCDC增量抽取 
yqling2008 评论(0) 有1662人浏览 2015-09-22 14:08

最近博客热门TAG

Java(141744) C(73651) C++(68608) SQL(64571) C#(59609) XML(59133) HTML(59043) JavaScript(54919) .net(54785) Web(54514) 工作(54118) Linux(50905) Oracle(49875) 应用服务器(43289) Spring(40812) 编程(39454) Windows(39381) JSP(37542) MySQL(37267) 数据结构(36424)

博客人气排行榜

    博客电子书下载排行

      >>浏览更多下载

      相关资讯

      相关讨论

      Global site tag (gtag.js) - Google Analytics