数据挖掘:从大量数据中分析获得以前不知的、有效的、易被理解的信息,并用这些信息制定商业策略和决定的过程。(请注意,是过程,而不是技术,这一点很重要,往往决定数据挖掘项目的成败。)
下图是一个定义示例。
数据挖掘的几个关键特性:
1 large amount of data
2 discovering previously unkonwn, hidden information
3 making important business decision using the information
数据挖掘的概要:
1 数据:重要性不言而喻,套句话,Can't live without them.
a 数据收集依赖很多因素:数据挖掘的目的,存在的数据,数据结构,可用的数据源,收集更多数据的成本和好处。
b 选择必要的数据是一个艰巨的过程:数据越多并不能使它们之间的关联关系更明显,有可能更弱化;属性越多,会导致建模所需要的数据准备的工作量更大;属性越多,会需要更大的数据库,性能更高的硬件,成本会更高。
c 因此样本数据就是必须的,样本数据的要求:必须足够多的共性去体现现有的数据;必须能够被现有的硬件处理;高质量数据。
2 数据准备:what to do?(其实,这是最能体现人的创造性的地方。)
a Deriving new attributes & Attributes transformations: 需要注意的是,关注平时不留意的地方。
b Attribute Selection: 排除无效的属性,选择最有用的属性。(往往这一步是比较难的,和最后的结果质量有很强的关系。)
数据挖掘的进行方式:
1 查证驱动Verification-Driven Approach:boss脑袋一亮,觉得这个点子不错,嗯,用数据模型来验证一下吧。
2 发现驱动Discovery-Driven Approach:大家都不知道该怎么做,用数据挖掘一弄,原来还存在这样的商业模式,嗯,针对这种模块开发专门的需求和实现。
数据挖掘最吸引的地方是能建立预测性而不是回顾性的模型。
与统计分析相同之处:
1,仍是数据分析
2,试图发现模式
3,试图解释或预测
4, 使用多样性工具
不同之处:
1,无假定的模型
2,自动搜索可能的模型
3,算法是可升级的(scalable)
分享到:
相关推荐
数据挖掘是什么?... 为什么要进行数据挖掘? 数据挖掘有哪些应用? 数据挖掘有哪些任务? 机器学习是什么? 数据挖掘与机器学习之间有什么关系? 数据挖掘实战举例 数据挖掘领域重要会议
错觉:AI如何通过数据挖掘误导我们?(2021)(374页).pdf
2.2 什么是数据挖掘呢? 4 2.3 数据挖掘能做什么? 4 3 分类 5 3.1 什么是分类? 5 3.2 应用实例有哪些? 5 4 估计(回归) 5 4.1 何为回归估计? 5 4.2 应用实例 6 5 组合和关联法则 6 6 聚类 7 6.1 定义 7 6.2 ...
这是很有用的数据挖掘答案 绝对有用 有1,2,章的
尿不湿和啤酒很多人会问,究竟数据挖掘能够为企业做些什么?下面我们通过一个在数据挖掘中最经典的案例来解释这个问题——一个关于尿不湿与啤酒的故事。超级商业零售连锁巨无霸沃尔玛公司(wal mart)拥有世上最大...
本书是一个导论,介绍什么是数据挖掘,什么是数据库中知识发现。书中的材料从数据库角度 提供,特别强调发现隐藏在大型数据集中有趣数据模式的数据挖掘基本概念和技术。所讨论的实现 方法主要面向可规模化的、有效...
第四章 数据挖掘基础An Introduction to Data Science刘 淇课程主页:数据挖掘基础基本概念——数据挖掘是什么?现今与未来:Data
《数据仓库与数据挖掘》课程设计方案报告模板.pdf《数据仓库与数据挖掘》课程设计方案报告模板.pdf《数据仓库与数据挖掘》课程设计方案报告模板.pdf《数据仓库与数据挖掘》课程设计方案报告模板.pdf《数据仓库与数据...
数据挖掘在各行业的应用论文 数据仓库与数据挖掘.caj 空间数据挖掘技术.caj 数据仓库与数据挖掘技术及其在科技情报业的应用前景.caj 相关案件的数据挖掘.caj 数据挖掘技术.caj 一种实时过程控制中的数据挖掘算法研究...
数据挖掘课件数据挖掘课件数据挖掘课件数据挖掘课件
介绍什么是数据挖掘,数据挖掘可以做什么. 数据挖掘是一种高级数据分析技术,它从日常积累的、海量的信息库中提炼、抽取、发现隐藏的、间接的、有意义、有价值的、可以直观表达的规则、知识和信息,辅助管理人员制定...
本课程适合所有需要学习数据仓库与数据挖掘知识的同学,课件内容制作精细,由浅入深,适合入门或进行知识回顾。 本章为该课程的其中一个章节,如有需要可下载全部课程 全套资源下载地址:...
图像数据挖掘图像数据挖掘图像数据挖掘图像 数据挖掘
本课程适合所有需要学习临床大数据挖掘知识的同学,课件内容制作精细,由浅入深,适合入门或进行知识回顾。 本章为该课程的其中一个章节,如有需要可下载全部课程 全套资源下载地址:...
.1 数据挖掘处理的对象有哪些?请从实际生活中举出至少三种。 答:数据挖掘处理的对象是某一专业领域中积累的数据,对象既可以来自社会科学,又可以来自自然科学产生的数据,还可以是卫星观测得到的数据。数据形式和...
第2讲_MATLAB数据挖掘基础 共44页.pdf 第3讲_MATLAB数据挖掘算法(上) 共42页.pdf 第4讲_MATLAB数据挖掘算法(下) 共45页.pdf 第5讲_MATLAB高级数据挖掘技术 共23页.pdf 第6讲_MATLAB数据挖掘项目实例 共25页.pdf ...
课程背景数据挖掘是什么?课程教学参考书与课程内容安排技术发展的必然—云计算—大数据大量的:数据量为什么越来越大?—互联网应用催生大数据—智慧产业发展催生大数据有
数据挖掘、机器学习这些字眼,在一些人看来,是门槛很高的东西。诚然,如果做算法实现甚至算法优化,确实需要很多背景知识。但事实是,绝大多数数据挖掘工程师,不需要去做算法层面的东西。他们的精力,集中在特征...