首先举出打网球的例子。
Day
|
Outlook
|
Temperature
|
Humidity
|
Wind
|
Play Tennis
|
1
|
sunny
|
hot
|
high
|
weak
|
no
|
2
|
sunny
|
hot
|
high
|
strong
|
no
|
3
|
overcast
|
hot
|
high
|
weak
|
yes
|
4
|
rain
|
mild
|
high
|
weak
|
yes
|
5
|
rain
|
cool
|
normal
|
weak
|
yes
|
6
|
rain
|
cool
|
normal
|
strong
|
no
|
7
|
overcast
|
cool
|
normal
|
strong
|
yes
|
8
|
sunny
|
mild
|
high
|
weak
|
no
|
9
|
sunny
|
cool
|
normal
|
weak
|
yes
|
10
|
rain
|
mild
|
normal
|
weak
|
yes
|
11
|
sunny
|
mild
|
normal
|
strong
|
yes
|
12
|
overcast
|
mild
|
high
|
strong
|
yes
|
13
|
overcast
|
hot
|
normal
|
weak
|
yes
|
14
|
rain
|
mild
|
high
|
strong
|
no
|
数据集中包含14个样本,其中9个正样本(yes),5个负样本(no)。则这些元组的期望信息(即熵)为:
Info(D) = - 9/14 * log2(9/14) - 5/14 * log2(5/14) = 0.940
现在观察每个属性的期望信息需求。在属性Outlook中,对于sunny,正样本数为2,负样本数为3;对于overcast,正样本数为4,负样本数为0;对与rain,正样本数为3,负样本数为2。
按照Outlook划分样例得到的期望信息为:
5/14 * ( - 2/5log22/5 – 3/5log23/5) + 4/15 * ( - 4/4log24/4) + 5/14 * ( - 3/5log23/5 – 2/5log22/5)=0.694
即其信息增益为:
Gain(outlook) = 0.940 – 0.694 = 0.246
Gain(Temperature) = 0.029
Gain(Humidity) = 0.151
Gain(Wind) = 0.048
继续信息增益的计算,最终得到如下的决策树:
以sunny,mild,normal,FALSE作为测试集,使用决策树,得出其结论为yes。
- 大小: 64.2 KB
分享到:
相关推荐
基于weka平台的决策树算法设计与实现 是一篇博士论文 很不错,介绍很详细
基于决策树分类的Weka平台上数据挖掘应用.pdf
(3)模型构建与评估:利用决策树算法对上述数据进行分类,构建决策树并进行性能评估:包括Recall(召回率)、Precision(精度)、F1和Accuracy(准确率); (4)结果讨论:对研究结果(剔除的指标,即未出现决策树...
基于WEKA平台的决策树算法设计与实现,这是一篇硕士论文,所以有一定的深度
NULL 博文链接:https://bruce-lin-chn-sina-cn.iteye.com/blog/1779230
决策树算法在Weka平台上的数据挖掘应用.pdf
数据集采用KKD CUP,机器学习框架采用weka,二分类模型采用决策树+KNN 基于jpcap的网络嗅探器。 对于Java开发者来说,java.net包里面提供的类和接口提供是TCP UDP两种网络协议的支持,也就是说基于JDK的网络编程都...
基于机器学习weka框架+决策树和KNN算法实现网络入侵检测源码+详细项目说明.zip基于机器学习weka框架+决策树和KNN算法实现网络入侵检测源码+详细项目说明.zip基于机器学习weka框架+决策树和KNN算法实现网络入侵检测...
本实验报告为数据挖掘课程weka工具使用C4.5算法进行决策树分类学习的一次实验报告,使用weka工具的图形界面,对UCI上下载的数据集进行分类测试。
准备讨论班时总结的资料,关于数据挖掘的工具介绍(主要是关于weka的),通过决策树来说明weka的使用,以及怎么用于编程当中。具有一定的实际意义,非讲理论,主要偏于实际应用及其程序编写。 资料一部分是自己总结...
WEKA使用教程WEKA使用教程WEKA使用教程WEKA使用教程WEKA使用教程WEKA使用教程WEKA使用教程WEKA使用教程WEKA使用教程WEKA使用教程WEKA使用教程WEKA使用教程WEKA使用教程WEKA使用教程WEKA使用教程WEKA使用教程WEKA使用...
Java使用WekaAPI的源码,参考:数据挖掘与机器学习Weka应用技术与实践。
weak 对决策树算法的实际应用 有训练和测试两部分,如果你是数据挖掘的新手,那么这个文档会告诉你如何使用weka用于实际的算法进行挖掘,保证让你满意
weka-src[weka源码] 供参考
非常实用的weka介绍,里面介绍了回归,聚类,决策树,k近邻方法的使用
决策树剪枝matlab代码森林 成本敏感决策森林算法 CSForest 的实现,发表于: Siers,MJ 和伊斯兰教,MZ(2015 年)。 使用成本敏感决策森林和投票的软件缺陷预测,以及类不平衡问题的潜在解决方案。 信息系统,51, ...
WEKA中文教程WEKA中文教程WEKA中文教程WEKA中文教程WEKA中文教程WEKA中文教程
Weka 开发[1]-Instances类 1 Weka开发[2]-分类器类 2 Weka开发[3]-Evaluation类 3 Weka开发[4]-特征选择 4 Weka开发[5]-半监督算法 6 Weka开发[0]-导入Weka包 8 半监督算法工具SVMlin使用 12 半...
对Weka从最基本的如何将weka导入eclipse开始,一步一步教你进入WEKA的天堂。
决策树J48的demo代码,对自带的数据集进行分类