相关推荐
-
数据仓库和olap
Data warehousing and on-line analytical processing (OLAP) are essential elements of decision support, which has increasingly become a focus of the database industry. Many commercial products and services are now available, and all of the principal database management system vendors now have offerings in these areas. Decision support places some rather different requirements on database technology compared to traditional on-line transaction processing applications. This paper provides an overview of data warehousing and OLAP technologies, with an emphasis on their new requirements. We describe back end tools for extracting, cleaning and loading data into a data warehouse; multidimensional data models typical of OLAP; front end client tools for querying and data analysis; server extensions for efficient query processing; and tools for metadata management and for managing the warehouse. In addition to surveying the state of the art, this paper also identifies some promising research issues, some of which are related to problems that the database research community has worked on for years, but others are only just beginning to be addressed. This overview is based on a tutorial that the authors presented at the VLDB Conference, 1996.
-
数据仓库—什么是OLAP
从事数据仓库或者大数据的同学,应该经常会听到OLAP这个词。什么OLAP分析,OLAP引擎等等名词。今天就来聊聊什么是OLAP。 OLAP与OLTP 说起OLAP,就不得不提一下他的好兄弟OLTP,两者经常会被拿来比较。 首先,看一下两者的 定义: OLAP(On-Line Analytical Processing):联机分析处理,OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。 OLTP(on-line transaction processi
-
数据仓库、OLAP和 数据挖掘、统计分析的关系和区别分析
一、什么是数据挖掘 数据挖掘(Data Mining),又称为数据库中的知识发现(Knowledge Discovery in Database, KDD),就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程,简单的说,数据挖掘就是从大量数据中提取或“挖掘”知识。 二、数据挖掘相关的10个问题 NO.1 Data Mining 和统计分析有
-
简述数据仓库、OLAP、数据挖掘之间的关系
(1)数据仓库是基础:无论是数据挖掘还是OLAP分析,他们成功的关键之一是能够访问正确的、完整的和集成的数据。这也是对数据仓库的要求。数据仓库不仅是集成数据的一种方式和一个焦点,而且所有的数据仓库的解决方案都源自和依赖于数据源部件的质量和效果(这种部件在数据仓库中称为抽取、变换和装载)。数据仓库的特点(集成的、随时间变化、稳定的、面向主题的)为OLAP分析、数据挖掘的成功提供了坚实的数据基础。(2...
-
BI(数据仓库、OLAP、数据挖掘)
数据仓库将来自于各种数据源的数据,根据不同的主题进行存储,并对原始数据进行抽取、转换和加载等一系列筛选和清理工作。OLAP则将数据通过多维视角和多种层次向用户进行多方式的呈现。数据挖掘则应用不同的算法,向用户揭示数据间的规律性,从而辅助商业决策。
-
数据挖掘入门及与数据仓库和OLAP的区别和联系
数据挖掘入门的基础知识,感觉不错,拿出来分享,希望对你有帮助。
-
联机分析处理(OLAP)与数据挖掘的关系
联机分析处理(OLAP)是用来分析数据仓库中海量数据的技术。它的核心概念是“维”,它支持数据分析人员和决策人员从不同的角度、不同的级别地对数据仓库中的数据进行复杂查询和多维分析处理,并且能以直观形象的形式将查询和分析结果展现给分析和决策人员。OLAP使用的逻辑数据模型为多维数据模型。它主要用于分析大量历史数据,提供汇总和聚集机制,访问大部分是只读操作。这不同于OLTP中频繁的更新修改数据。数据
-
数据仓库(OLAP OLTP)与数据挖掘
一、挖掘数据存在问题: 1、把来自各个数据源的数据汇集到一个中心仓库中,即数据仓库。数据仓库位于一个单独的节点上,使用同一的模式从多个数据源收集数据,给用户提供一个单独的、统一的数据接口,目的是能在不同的数据上高效执行查询。 数据仓库处理相关问题:脏数据处理(某些带有错误的数据)技术,对大量数据的高效存储和索引技术 2、分析收集到的数据发现可以成为商务决策基础的信息或知识。 数...
-
从“分析”的角度谈OLAP、数据挖掘、统计分析三者之间的区别和联系
近来一直在考虑基于OLAP的分析、数据挖掘里的挖掘分析、统计业务中的统计分析相互间的内在关系,因为乍看上去这三者是非常相似的,很容易混在一起。事实上,他们之间还是有很大的区别。 首先谈谈OLAP中的分析,由于OLAP的核心是对多维数据集的处理,构建数据立方体,对数据立方体进行切片、切块、上卷、下钻等操作,达到比对分析的目的,同时建立数据立方体的过程也是对数据进行聚合汇
-
DB、ETL、DW、OLAP、DM、BI关系结构图
DB、ETL、DW、OLAP、DM、BI关系结构图 在此大概用口水话简单叙述一下他们几个概念: (1)DB/Database/数据库——这里一般指的就是OLTP数据库,在线事物数据库,用来支持生产的,比如超市的买卖系统。DB保留的是数据信息的最新状态,只有一个状态!比如,每天早上起床洗脸照镜子,看到的就是当时的状态,至于之前的每天的状态,不会出现的你的眼前,这个眼前就是db。 (2)...
-
数据仓库与数据挖掘的个人总结
来公司的第一天收到要熟悉数据仓库与数据挖掘的任务,任务内容如下: 1.阅读有关数据仓库、数据挖掘、OLAP在线联机分析的相关文档,掌握和了解相关基础知识和概念 2.了解常见的数据仓库及OLAP解决数据决策分析有效性的解决方案,以及主要的实施过程 3.重点了解微软的解决方案 4.在电脑上安装微软sqlserver2008
-
数据挖掘和OLAP的简单理解
OLAP是决策支持领域的一部分。传统的查询和报表工具是告诉你数据库中都有 什么(what happened),OLAP则更进一步告诉你下一步会怎么样(What next)、 和如果我采取这样的措施又会怎么样(What if)。用户首先建立一个假设,然 后用OLAP检索数据库来验证这个假设是否正确。比如,一个分析师想找到什么 原因导致了贷款拖欠,他可能先做一个初始的假定,认为低收入的人信用度...
-
OLAP与数据挖掘的区别
大多数同事都曾做过OLAP相关的项目,他们常搞不清OLAP与数据挖掘有什么区别,现摘录一段文字来说明 所谓OLAP(Online Analytical Process)意指由数据库所连结出来的在线分析处理程序。有些人会说:「我已经有OLAP的工具了,所以我不需要Data Mining。」事实上两者间是截然不同的,主要差异在于Data Mining用在产生假设,OLAP则用于查证假设
-
数据仓库与数据库(OLAP与OLTP)
数据仓库是一个面向主题的,集成的,时变的,非易失的数据集合,支持管理者的决策过程,决策支持系统(DSS)和联机分析应用数据源的结构化数据环境,数据仓库研究和解决从数据仓库中获得信息的问题。数据仓库存在的意义在于对企业的所有数据进行汇总,为企业各个部门提供统一的,规范的数据出口。 面向主题:数据仓库中的数据按照一定的主题进行组织,每一个主题对应一个宏观的分析领域,数据仓库排除对于决策无用的数据,提供特定主题的简明视图。 集成的:企业内不同业务部门数据的完整集成,对于企业内所有数据的集成要注意一致性。 稳
-
数据挖掘—— 数据仓库和数据挖掘的OLAP技术
数据仓库后端工具主要指的是用来装入和刷新数据的工具,包括: 数据提取:从多个外部的异构数据源收集数据 数据清理:检测数据中的错误并作可能的订正 数据变换:将数据由历史或主机的格式转换为数据仓库的格式 装载、排序、汇总、合并、计算视图,检查完整性。 并建立索引和分区 刷新 将数据源的更新传播到数据仓库中 数据仓库只需要两种数据访问: 数据的初始装载 数据访问 传统的异构数据库集成在多个异构数据库上建立包装程序和中介程序 度量可以根据其所用的聚集函数分为三类: 分布的:将函数用于n个聚集值得到的结果和将函数用于
-
数据仓库③-实现与使用(含OLAP重点讲解)
本文将对这些方面做一个总体性的介绍(尤其是OLAP),旨在让读者对数据仓库的认识提升到一个全局性的高度。创建数据仓库数据仓库的创建方法和数据库类似,也是通过编写DDL语句来实现。在过去,数据仓库系统大都建立在RDBMS上,因为维度建模其实也可以看做是关系建模的一种。但如今随着开源分布式数据仓库工具如Hadoop Hive,Spark SQL的兴起,开发人员往往将建模和实现分离。使用专门的建模软件进