主要分类方法介绍解决分类问题的方法很多[40-42] ,单一的分类方法主要包括:决策树、贝叶斯、人工神经网络、K-近邻、支持向量机和基于关联规则的分类等;另外还有用于组合单一分类方法的集成学习算法,如Bagging和Boosting等。
(1)决策树
决策树是用于分类和预测的主要技术之一,决策树学习是以实例为基础的归纳学习算法,它着眼于从一组无次序、无规则的实例中推理出以决策树表示的分类规则。构造决策树的目的是找出属性和类别间的关系,用它来预测将来未知类别的记录的类别。它采用自顶向下的递归方式,在决策树的内部节点进行属性的比较,并根据不同属性值判断从该节点向下的分支,在决策树的叶节点得到结论。
主要的决策树算法有ID3、C4.5(C5.0)、CART、PUBLIC、SLIQ和SPRINT算法等。它们在选择测试属性采用的技术、生成的决策树的结构、剪枝的方法以及时刻,能否处理大数据集等方面都有各自的不同之处。
(2)贝叶斯
贝叶斯(Bayes)分类算法是一类利用概率统计知识进行分类的算法,如朴素贝叶斯(Naive Bayes)算法。这些算法主要利用Bayes定理来预测一个未知类别的样本属于各个类别的可能性,选择其中可能性最大的一个类别作为该样本的最终类别。由于贝叶斯定理的成立本身需要一个很强的条件独立性假设前提,而此假设在实际情况中经常是不成立的,因而其分类准确性就会下降。为此就出现了许多降低独立性假设的贝叶斯分类算法,如TAN(Tree Augmented Naïve Bayes)算法,它是在贝叶斯网络结构的基础上增加属性对之间的关联来实现的。
(3)人工神经网络
人工神经网络(Artificial Neural Networks,ANN)是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在这种模型中,大量的节点(或称”神经元”,或”单元”)之间相互联接构成网络,即”神经网络”,以达到处理信息的目的。神经网络通常需要进行训练,训练的过程就是网络进行学习的过程。训练改变了网络节点的连接权的值使其具有分类的功能,经过训练的网络就可用于对象的识别。
目前,神经网络已有上百种不同的模型,常见的有BP网络、径向基RBF网络、Hopfield网络、随机神经网络(Boltzmann机)、竞争神经网络(Hamming网络,自组织映射网络)等。但是当前的神经网络仍普遍存在收敛速度慢、计算量大、训练时间长和不可解释等缺点。
(4)k-近邻
k-近邻(kNN,k-Nearest Neighbors)算法是一种基于实例的分类方法。该方法就是找出与未知样本x距离最近的k个训练样本,看这k个样本中多数属于哪一类,就把x归为那一类。k-近邻方法是一种懒惰学习方法,它存放样本,直到需要分类时才进行分类,如果样本集比较复杂,可能会导致很大的计算开销,因此无法应用到实时性很强的场合。
(5)支持向量机
支持向量机(SVM,Support Vector Machine)是Vapnik根据统计学习理论提出的一种新的学习方法[43] ,它的最大特点是根据结构风险最小化准则,以最大化分类间隔构造最优分类超平面来提高学习机的泛化能力,较好地解决了非线性、高维数、局部极小点等问题。对于分类问题,支持向量机算法根据区域中的样本计算该区域的决策曲面,由此确定该区域中未知样本的类别。
(6)基于关联规则的分类
关联规则挖掘是数据挖掘中一个重要的研究领域。近年来,对于如何将关联规则挖掘用于分类问题,学者们进行了广泛的研究。关联分类方法挖掘形如condset→C的规则,其中condset是项(或属性-值对)的集合,而C是类标号,这种形式的规则称为类关联规则(class association rules,CARS)。关联分类方法一般由两步组成:第一步用关联规则挖掘算法从训练数据集中挖掘出所有满足指定支持度和置信度的类关联规则;第二步使用启发式方法从挖掘出的类关联规则中挑选出一组高质量的规则用于分类。属于关联分类的算法主要包括CBA[44],ADT[45],CMAR[46]等。
(7)集成学习(Ensemble Learning)
实际应用的复杂性和数据的多样性往往使得单一的分类方法不够有效。因此,学者们对多种分类方法的融合即集成学习进行了广泛的研究。集成学习已成为国际机器学习界的研究热点,并被称为当前机器学习四个主要研究方向之一。
集成学习是一种机器学习范式,它试图通过连续调用单个的学习算法,获得不同的基学习器,然后根据规则组合这些学习器来解决同一个问题,可以显著的提高学习系统的泛化能力。组合多个基学习器主要采用(加权)投票的方法,常见的算法有装袋[47] (Bagging),提升/推进[48, 49] (Boosting)等。
有关分类器的集成学习见图2-5。集成学习由于采用了投票平均的方法组合多个分类器,所以有可能减少单个分类器的误差,获得对问题空间模型更加准确的表示,从而提高分类器的分类准确度。
图2-5:分类器的集成学习
以上简单介绍了各种主要的分类方法,应该说其都有各自不同的特点及优缺点。对于数据库负载的自动识别,应该选择哪种方法呢?用来比较和评估分类方法的标准[50] 主要有:(1)预测的准确率。模型正确地预测新样本的类标号的能力;
(2)计算速度。包括构造模型以及使用模型进行分类的时间;
(3)强壮性。模型对噪声数据或空缺值数据正确预测的能力;
(4)可伸缩性。对于数据量很大的数据集,有效构造模型的能力;
(5)模型描述的简洁性和可解释性。模型描述愈简洁、愈容易理解,则愈受欢迎。
原文连接:http://hi.baidu.com/gf271828/blog/item/38df3df172e150c10b46e06d.html
分享到:
相关推荐
。。。
。。。
主要有监督分类与非监督分类,基于分类判据的实现策略 划分,硬分类和软分类,基于像素的分类和基于对象的分类。单分类器和多分类器集成。并简单介绍了一些 分类方法,包括监督分类法(最小距离分类法、最大似然分类...
电源滤波器的作用、种类、分类方法doc,电源滤波器的作用就是减少电源干扰,本文主要介绍电源滤波器的作用、种类、分类方法。
目前看到的比较全面的分类算法,总结的还不错....2.4.1 主要分类方法介绍解决分类问题的方法很多[40-42] ,单一的分类方法主要包括:决策树、贝叶斯、人工神经网络、K-近邻、支持向量机和基于关联规则的分类等;
其次介绍了一些主要的改进支持向量机学习算法,分析了这些算法 的优缺点。最后应用支持向量机方法对乳腺X线图像提取出来的特征样本进行 分类,采用交叉检验方法进行支持向量机核函数参数的选择,取得了较好的分 类...
遥感图像分类方法有很多种,在这里介绍主要用的集中方法。
本篇文章主要介绍了PDP的分类,以及当PDP发生故障时的一些处理方法。
这本书全面系统地介绍了统计学习的主要方法,内容分为监督学习和无监督学习两篇。 在监督学习部分,书中介绍了决策树、感知机、支持向量机、最大熵模型与逻辑斯谛回归、推进法、多类分类法、EM算法、隐马尔科夫模型...
极化合成孔径雷达(Polarimetric Synthetic ... 本文从技术方法的角度出发, 论述了近年来国内外极化SAR图像地物分类的方法及应用, 从技术原理、实验效果等方面进行介绍, 并对极化SAR图像地物分类的发展趋势进行分析.
目前,基于内容的垃圾邮件过滤问题是Internet...主要介绍了贝叶斯方法的理论依据和实现方法,总结了近几年的贝叶斯分类方法的研究情况和贝叶斯方法在垃圾邮件处理中应用的优点和局限性,并提出了下一步可能的研究方向。
SPSS Modeler数据挖掘方法及应用,本书主要特点: 1)以数据挖掘过程为线索介绍SPSS Modeler软件 2)数据挖掘方法,软件操作、案例分析的有机结合 3)数据挖掘方法讲解通俗,软件操作过程说明详实 主要内容如下: 1...
对文本分类方法介绍,主要适用于图书情报检索学习。
其次对现有超分辨图像客观评价方法按照全参考型、部分参考型和无参考型进行了分类阐述,特别详细介绍了几种具有代表性的无参考质量评价的主要思想;接着从定量和定性两方面分别介绍了评价超分辨图像质量评价方法有效...
这里主要使用的是决策树的方法进行分类 文件介绍 为此目录文件的大致介绍,按首字母排列 classify.m——分类方法,决策树形成后,再次输入数据,进行分类,得到结果 data.csv——处理后的数据文件 main.m——主文件...
《企业经营数据分析——思路、方法、应用与工具》主要内容包括企业中的大数据介绍、数据分析的目的、数据分析的思路、对比与对标、分类、聚类、逻辑关系、预测、结构、各职能部门的具体数据分析、常用的数据分析工具...
目前,基于内容的垃圾邮件过滤问题是Internet...主要介绍了贝叶斯方法的理论依据和实现方法,总结了近几年的贝叶斯分类方法的研究情况和贝叶斯方法在垃圾邮件处理中应用的优点和局限性,并提出了下一步可能的研究方向。
1、资源内容:基于matlab编程的针对uci葡萄酒分类数据集的学习,主要的方法是BP和RBF+源代码+文档说明 2、代码特点:内含运行结果,不会运行可私信,参数化编程、参数可方便更改、代码编程思路清晰、注释明细,都...
本篇文章主要介绍了利用TensorFlow训练简单的二分类神经网络模型的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
主要介绍了vue分类筛选filter方法的简单实例,具有一定的参考价值,感兴趣的小伙伴们可以参考一下