`

BI、ETL和OLAP?

 
阅读更多
BI
确切地讲,BI并不是一项新技术,它将数据仓库(DW)、联机分析处理(OLAP)、数据挖掘(DM)等技术与客户关系管理(CRM)等结合起来 应用于商业活动实际过程当中,实现了技术服务于决策的目的;Mark Hammond从管理的角度看待BI,认为BI是从“根本上帮助你把公司的运营数据转化成为高价值的可以获取的信息(或者知识),并且在恰当的时间通过恰 当的手段把恰当的信息传递给恰当的人”。

ETL
ETL即数据抽取(Extract)、转换(Transform)、装载(Load)的过程。它是构建数据仓库的重要环节。数据仓库是面向主题 的、集成的、稳定的且随时间不断变化的数据集合,用以支持经营管理中的决策制定过程。数据仓库系统中有可能存在着大量的噪声数据,引起的主要原因有:滥用 缩写词、惯用语、数据输入错误、重复记录、丢失值、拼写变化等。即便是一个设计和规划良好的数据库系统,如果其中存在着大量的噪声数据,那么这个系统也是 没有任何意义的,因为“垃圾进,垃圾出”(garbage in, garbage out),系统根本就不可能为决策分析系统提供任何支持。为了清除噪声数据,必须在数据库系统中进行数据清洗。目前有不少数据清洗研究和ETL研究,但是 如何在ETL过程中进行有效的数据清洗并使这个过程可视化,此方面研究不多。


联机事务处理OLTP
联机分析处理 (OLAP) 的概念最早是由关系数据库之父E.F.Codd于1993年提出的,他同时提出了关于OLAP的12条准则。OLAP的提出引起了很大的反响,OLAP作为一类产品同联机事务处理 (OLTP) 明显区分开来。
当今的数据处理大致可以分成两大类:联机事务处理OLTP(on-line transaction processing)、联机分析处理OLAP(On-Line Analytical Processing)。OLTP是传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支 持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。
OLAP是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互地存取,从而获得对数据的更深入了解的一类软件技术。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求,它的技术核心是"维"这个概念。
分享到:
评论

相关推荐

    商务智能“BI”介绍

    详细介绍“商务智能”系统体系架构,具体应用,应用流程;介绍商务智能系统的关键技术DW,ETL,OLAP,DM

    BI新手入门-乱侃BI

    什么是BI,什么是数据仓库,数据仓库的特性,数据仓库的组成,ETL,语义,OLAP

    pentaho_kettle_solutions

    pentaho_kettle_solutions bi olap etl 引擎

    商业智能(BI)项目可行性研究报告.docx

    商业智能的关键是从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理,以保证数据的正确性,然后经过抽取(Extraction)、转换(Transformation)和装载(Load),即ETL过程,合并到一个企业级的数据...

    BI开源项目现状和对比分析.doc

    1.1.1. 独立功能项目  OLAP Server Mondrian  ETL 工具 Enhydra Octopus,JasperETL  OLAP客户端组件 Jpivot  报表引擎组件 JasperReport,JFreeChart,JfreeReport,BIRT  数据挖掘组件 Weka

    BI商业智能体系框构

    文档说明BI流程图,ETL,OLTP,EDW,OLAP数据转换为信息

    SQL.Server.2008商业智能完美解决方案 part2

    第三部分面向Integration Services开发人员,详细介绍如何使用SSIS开发ETL软件包,利用ETL包加载OLAP多维数据集和数据挖掘结构;第四部分详细介绍了SSRS的架构,以及Excel、Visio或Office SharePoint Server 2007...

    SQL.Server.2008商业智能完美解决方案 part1

    第三部分面向Integration Services开发人员,详细介绍如何使用SSIS开发ETL软件包,利用ETL包加载OLAP多维数据集和数据挖掘结构;第四部分详细介绍了SSRS的架构,以及Excel、Visio或Office SharePoint Server 2007...

    BI与大数据区别.docx

    第四、从工具的角度 传统BI使用的是ETL、数据仓库、OLAP、可视化报表技术,属于应用和展示层技术,目前都处于淘汰的边缘,因为它解决不了海量数据(包括结构化与非结构化)的处理问题。而大数据应用的是一个完整的...

    深入学习ETL.zip

    ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过萃取(extract)、转置(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库,但其对象并不限于数据仓库。...商务智能(BI)

    SQL Server 2008 商业智能完美解决方案.part1

    第三部分面向Integration Services开发人员,详细介绍如何使用SSIS开发ETL软件包,利用ETL包加载OLAP多维数据集和数据挖掘结构;第四部分详细介绍了SSRS的架构,以及Excel、Visio或Office SharePoint Server 2007...

    SQL Server 2008 商业智能完美解决方案.part2

    第三部分面向Integration Services开发人员,详细介绍如何使用SSIS开发ETL软件包,利用ETL包加载OLAP多维数据集和数据挖掘结构;第四部分详细介绍了SSRS的架构,以及Excel、Visio或Office SharePoint Server 2007...

    SQL Server 2008 商业智能完美解决方案.part3

    第三部分面向Integration Services开发人员,详细介绍如何使用SSIS开发ETL软件包,利用ETL包加载OLAP多维数据集和数据挖掘结构;第四部分详细介绍了SSRS的架构,以及Excel、Visio或Office SharePoint Server 2007...

    bi-open:开源 xTuple 商业智能

    Pentaho 数据集成 ETL 处理提取和加载 CRM 数据。 CRM 多维数据集的 Pentaho 分析模式定义。 用于单点登录和 OLAP 多租户支持的 Pentaho 扩展。 用于安装和启动/停止 BI 服务器的脚本。 build_bi.sh 将从 ErpBI...

    sql.server.2008商业智能完美解决方案 .lynn.langit.扫描版 part1

    第三有些面向integration services开发人员,具体介绍怎么运用ssis开发etl软件包,使用etl包加载olap多维数据集和数据发掘构造;第四有些具体介绍了ssrs的架构,以及excel、visio或office sharepoint server 2007...

    SQL Server 2008商业智能完美解决方案

    第三部分面向Integration Services开发人员,详细介绍如何使用SSIS开发ETL软件包,利用ETL包加载OLAP多维数据集和数据挖掘结构;第四部分详细介绍了SSRS的架构,以及Excel、Visio或Office SharePoint Server 2007...

    QlikView介绍

    QlikView介绍 QlikView引领BI系统的变革,数据装载于内存中,实时响应用户的分析需求,计算速度快(一秒内可返回400万条记录查询结果); QlikView是一个集ETL、OLAP分析和展现于一体的BI工具;

    用友商务智能BQ产品白皮书

    商业智能,简称BI,指通过对数据的收集、管理...目前,商业智能产品及解决方案大致可分为数据仓库产品、ETL产品、OLAP和前端展示产品、数据挖掘产品、元数据管理产品、集成以上几种产品针对某个应用的整体解决方案等。

    大数据平台及在电力行业的应用 总结

    本份PPT详细总结了大数据平台及在电力行业的应用:1.大数据需求,背景;2.介绍数据挖掘的具体技术及应用...3.介绍数据仓库,ETL,OLAP等;4.介绍数据挖掘技术的应用;5.介绍商务智能系统“BI”;6.介绍电力数据挖掘技术

    SQL Server 2008商业智能完美解决方案 3/3

    第三部分面向Integration Services开发人员,详细介绍如何使用SSIS开发ETL软件包,利用ETL包加载OLAP多维数据集和数据挖掘结构;第四部分详细介绍了SSRS的架构,以及Excel、Visio或Office SharePoint Server 2007...

Global site tag (gtag.js) - Google Analytics