`
hilly
  • 浏览: 46732 次
  • 性别: Icon_minigender_1
  • 来自: **
社区版块
存档分类
最新评论

什么是数据仓库(转)

阅读更多

什么是数据仓库


(转载自北大高科网站,http://www.pku-ht.com/)

    目前,数据仓库一词尚没有一个统一的定义,著名的数据仓库专家W.H.Inmon在其著作《Building the Data Warehouse》一书中给予如下描述:数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解,首先,数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库;其次,数据仓库是对多个异构的数据源有效集成,集成后按照主题进行了重组,并包含历史数据,而且存放在数据仓库中的数据一般不再修改。

    根据数据仓库概念的含义,数据仓库拥有以下四个特点:
     1、面向主题。操作型数据库的数据组织面向事务处理任务,各个业务系统之间各自分离,而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念,是指用户使用数据仓库进行决策时所关心的重点方面,一个主题通常与多个操作型信息系统相关。

     2、集成的。面向事务处理的操作型数据库通常与某些特定的应用相关,数据库之间相互独立,并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的,必须消除源数据中的不一致性,以保证数据仓库内的信息是关于整个企业的一致的全局信息。

     3、相对稳定的。操作型数据库中的数据通常实时更新,数据根据需要及时发生变化。数据仓库的数据主要供企业决策分析之用,所涉及的数据操作主要是数据查询,一旦某个数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的查询操作,但修改和删除操作很少,通常只需要定期的加载、刷新。

     4、反映历史变化。操作型数据库主要关心当前某一个时间段内的数据,而数据仓库中的数据通常包含历史信息,系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息,通过这些信息,可以对企业的发展历程和未来趋势做出定量分析和预测。
企业数据仓库的建设,是以现有企业业务系统和大量业务数据的积累为基础。数据仓库不是静态的概念,只有把信息及时交给需要这些信息的使用者,供他们做出改善其业务经营的决策,信息才能发挥作用,信息才有意义。而把信息加以整理归纳和重组,并及时提供给相应的管理决策人员,是数据仓库的根本任务。因此,从产业界的角度看,数据仓库建设是一个工程,是一个过程。
整个数据仓库系统是一个包含四个层次的体系结构,具体由下图表示。


数据仓库系统体系结构

·数据源:是数据仓库系统的基础,是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等;

·数据的存储与管理:是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库,同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心,则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据,进行抽取、清理,并有效集成,按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库(通常称为数据集市)。

·OLAP服务器:对分析需要的数据进行有效集成,按多维模型予以组织,以便进行多角度、多层次的分析,并发现趋势。其具体实现可以分为:ROLAP、MOLAP和HOLAP。ROLAP基本数据和聚合数据均存放在RDBMS之中;MOLAP基本数据和聚合数据均存放于多维数据库中;HOLAP基本数据存放于RDBMS之中,聚合数据存放于多维数据库中。

·前端工具:主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器,报表工具、数据挖掘工具主要针对数据仓库。
分享到:
评论

相关推荐

    大数据实战Demo系统-MaxCompute数据仓库数据转换实践.pdf

    大数据实战Demo系统-MaxCompute数据仓库数据转换实践.pdf 大数据实战Demo系统-MaxCompute数据仓库数据转换实践.pdf 大数据实战Demo系统-MaxCompute数据仓库数据转换实践.pdf 大数据实战Demo系统-MaxCompute数据仓库...

    数据仓库,数据仓库入门

    1.12 监控数据仓库环境 17 1.13 小结 19 第2章 数据仓库环境 20 2.1 数据仓库的结构 22 2.2 面向主题 23 2.3 第1天到第n天的现象 26 2.4 粒度 28 2.4.1 粒度的一个例子 29 2.4.2 粒度的双重级别 31 2.5 分割问题 34 ...

    数据仓库设计说明书

    1.12 监控数据仓库环境 17 1.13 小结 19 第2章 数据仓库环境 20 2.1 数据仓库的结构 22 2.2 面向主题 23 2.3 第1天到第n天的现象 26 2.4 粒度 28 2.4.1 粒度的一个例子 29 2.4.2 粒度的双重级别 31 2.5 分割问题 34 ...

    本书论述在设计和建造数据仓库中涉及的所有主要问题,论述分析型环境(决策支持系统环境)以及在这种环境中的数据构造。主要内容包括数据仓库的设计与建造步骤,传统系统到数据仓库的迁移,数据仓库的数据粒度、数据分割、元数据管理、外部数据与非结构化数据,分布式数据仓库、高级管理人员信息系统和数据仓库的设计评审等。

    主要内容包括数据仓库的设计与建造步骤,传统系统到数据仓库的迁移,数据仓库的数据粒度、数据分割、元数据管理、外部数据与非结构化数据,分布式数据仓库、高级管理人员信息系统和数据仓库的设计评审等。...

    数据仓库教程.rar

    8.1 数据仓库中的外部数据/非结构化数据 157 8.2 元数据和外部数据 158 8.3 存储外部数据/非结构化数据 159 8.4 外部数据/非结构化数据的不同 组成部分 160 8.5 建模与外部数据/非结构化数据 160 8.6 ...

    Oracle数据仓库架构

    Oracle的数据仓库系统的逻辑体系架构是由3层组成: 数据获取层:实现如何从所有源系统中获得原始的业务数据,并对其进行一致性处理,按主题进行数据重组和格式转换,然后传送并装载到数据仓库系统中。 数据管理层:...

    数据仓库数据仓库和我们经常提到的数据库有哪些区别

    要决定采用什么产品和技术来建立数据仓库的核心,则需要从数据仓库的技术特点着手分析。  ⑶数据的表现:数据表现实际上相当于数据仓库的门面,其性能主要集中在多维分析、数理统计和数据挖掘方面。而多维分析又...

    数据仓库使用手册

    传统的关系数据库一般采用二维数据表的形式来表示数据,以维是行,另一维是列,行和列的交叉处就是数据元素。关系数据的基础是关系数据库模型,通过...使用维护阶段包括:数据仓库应用、数据仓库维护和数据仓库评价。

    s数据仓库资料数据仓库资料

    主要内容包括数据仓库的设计与建造步骤,传统系统到数据仓库的迁移,数据仓库的数据粒度、数据分割、元数据管理、外部数据与非结构化数据,分布式数据仓库、高级管理人员信息系统和数据仓库的设计评审等。...

    CA数据仓库完整的数据仓库解决方案.rar_CA数据仓库完整的数据仓库解决方案_oracle_数据仓库建模

    CA数据仓库完整的数据仓库解决方案,数据仓库实施包括五个过程:设计建模、数据转换与集成、数据存储和管理、数据分析和展现、数据仓库的维护和管理,其提供了覆盖整个建立周期的完整产品:internet Developer Suite...

    数据仓库产品分析报告.doc

    数据仓库的实施是一个相当复杂的过程(包括:数据仓库的设计建模、数据转换与集成、数据存储与管理、数据的分析和展现及数据仓库的维护和管理)。并且每个行业都有自己的运行特点,都有自己特定的业务范围,都有自己...

    大数据实战Demo系统-MaxCompute数据仓库数据转换实践.zip

    《大数据实战Demo系统-MaxCompute数据仓库数据转换实践》是一份专业的大数据解决方案文档,它详细阐述了如何利用阿里云的MaxCompute服务进行高效的数据转换操作。MaxCompute是一个强大的数据仓库服务,提供了海量...

    数字化转型时代的数据仓库.pdf

    数字化转型时代的数据仓库.pdf

    数据仓库的概念及特点

    要决定采用什么产品和技术来建立数据仓库的核心,则需要从数据仓库的技术特点着手分析。 <br> ⑶数据的表现:数据表现实际上相当于数据仓库的门面,其性能主要集中在多维分析、数理统计和数据挖掘方面。而多维...

    数据清洗ppt-181119.zip

    而狭义上的数据清洗特指在构建数据仓库和实现数据挖掘前对数据源进行处理,使数据实现准确性、完整性、一致性、唯一性和有效性以适应后续操作的过程。一般而言,凡是有助于提高信息系统数据质量的处理过程,都可认为...

    数据仓库(原书中文第四版)

    学习数据仓库的好书,很经典。 目录: 目录 译者序 审、译者简介 前言 第1章 决策支持系统的发展 1 1.1 演化 1 1.2 直接存取存储设备的产生 2 1.3 个人计算机/第四代编程语言技术 3 1.4 进入抽取程序 3 1.5 蜘蛛网 4...

    数据仓库与元数据管理

    随着数据仓库(DW)技术的不断成熟,企业的数据逐渐变成了决策的主要依据。数据仓库中的数据是从许多业务处理系统中抽取、转换而来,对于这样一个复杂的企业数据环境,如何以安全、高效的方式来对它们进行管理和访问...

    网络之后的技术热点_数据仓库与数据挖掘.pdf

    数据仓库与数 据库在系统存储模型上有着本质的区别,数据库技 域的地位、工作性质、业务特点及激烈的市场竞争 术在存储模型建设方面强调数据模型的规范性和 决定了它对信息化、电子化比其他领域有更迫切的 高效存储...

    数字化转型时代的数据仓库.rar

    在数字化转型时代的浪潮中,"数据仓库.rar"这一资料包成为企业迈向智能化管理的宝贵财富。它不仅是一个经过精心整理和系统化的数据管理工具箱,更是一份指引企业如何有效利用数据资源,提升决策质量与业务效率的实用...

    数据仓库ETL算法详解

    是构建数据仓库的重要一环,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据仓库模型,将数据加载到数据仓库中去; 2. 常用的ETL工具:主要有三大主流工具,分别是Ascential公司的Datastage...

Global site tag (gtag.js) - Google Analytics