贝叶斯定理
英国数学家贝叶斯(Thomas Bayes)曾经给出如下定理:
P(A)表示A事件发生的概率,P(B)表示B事件发生的概率;P(A|B)表示在B事件已经确定发生的情况下,发生A事件的概率;P(B|A)表示在A事件已经确定发生的情况下,发生B事件的概率;P(AB)表示AB事件同时发生的概率。所以:
P(A)P(B|A)=P(AB)=P(B)P(A|B)
也就是说,A事件发生的概率乘以A事件已发生条件下B事件发生的概率,和B事件发生的概率乘以B事件已发生条件下A事件发生的概率,这二者是相等的,都等于AB事件同时发生的概率。
(特例:如果A、B是独立事件,互不相关,那么P(A)=P(A|B),P(B)=P(B|A),于是:P(A)P(B)=P(AB)。)
变换一下得到:
P(B|A)=P(B)P(A|B)/P(A)
在很多场景下,P(A|B)是容易得出的,但是P(B|A)不容易获得,这时可以利用贝叶斯公式求得。
我们还可以把贝叶斯定理推论到三元情形:
P(A|B,C)=P(B|A)P(A)P(C|A,B) / (P(B)P(C|B))
朴素贝叶斯分类(Naive Bayesian Classification)
假设具备如下分类:C1, C2, C3, … Cn,
同时,待分类项x具备如下相关属性分类项:a1, a2, a3, … an,
接着我们定义x属于Ck分类,当且仅当:P(Ck|x)=max{P(C1|x), P(C2|x), … P(C3|x)}。这一步是属于对分类器的应用。
也就是说,根据x的相关属性分类项来判断,和哪一分类最匹配时,x就算属于该分类。
下面我们开始进行分类器的构建:
1、确定相关特征属性分类项。就是上述的a1, a2, … an,对于x出现在某分类Ci中的概率,等于每个特征属性出现在该分类中的概率之积:
P(x|Ci)=P(a1|Ci)P(a2|Ci)…P(an|Ci) —— 公式A
2、整理取得训练样本。这个样本的数量和准确性会大大影响到分类的准确性,很多时候需要清洗样本数据。
3、分别计算每个类别下每个相关属性的概率,即:
P(ak|Ci),其中1<=k<=m,ak表示任一相关属性,1<=i<=n,Ci表示任一分类。
根据贝叶斯定理和公式A,可以得到x事件出现在Ci分类中的概率:
P(Ci|x)P(x)=P(Ci)P(x|Ci)=P(Ci)P(a1|Ci)P(a2|Ci)…P(an|Ci) —— 公式B
通过比较对任意的i,1<=i<=n的时候,P(Ci|x)P(x)的取值,从中找到最大值,就可以找到x的分类——因为对于不同的i,P(x)在是恒定值,所以对此问题而言,比较P(Ci|x)P(x)的最大值和比较P(Ci|x)的最大值是一致的。
举一个具体的例子:
一批商品,分类C1是正品,C2是次品。现在有两个属性分类项:a1表示质量,划为<1千克和>=1千克两个分类;a2表示体积,划为<1cm³和>=1cm³两个分类。
经过100个商品的样本统计,其中正品有80个,其中有60个质量<1千克,20个质量>=1千克,有40个体积<1cm³,40个体积>=1cm³;而余下的次品20个中,有5个质量<1千克,15个质量>=1千克,4个体积<1cm³,16个体积>=1cm³。
也就是说:
P(C1)=80/100, P(a1<1|C1)=60/80, P(a1>=1|C1)=20/80, P(a2<1|C1)=40/80, P(a2>=1|C1)=40/80
P(C2)=20/100, P(a1<1|C2)=5/20, P(a1>=1|C2)=15/20, P(a2<1|C2)=4/20, P(a2>=1|C2)=16/20
下面使用已经计算完成的分类器进行分类:
有一个待分类的商品x,它的质量是0.8千克,体积是1.1cm³,那么:
根据公式B:
P(x)P(C1|x)=P(C1)P(x|C1)=P(C1)P(a1<1|C1)P(a2>=1|C1)=0.3
P(x)P(C2|x)=P(C2)P(x|C2)=P(C2)P(a1<1|C2)P(a2>=1|C2)=0.12
所以,该商品判断为C1正品。
- 浏览: 1562632 次
- 性别:
- 来自: 上海
文章分类
- 全部博客 (1585)
- Http Web (18)
- Java (194)
- 操作系统 (2)
- 算法 (30)
- 计算机 (45)
- 程序 (2)
- 性能 (50)
- php (45)
- 测试 (12)
- 服务器 (14)
- Linux (42)
- 数据库 (14)
- 管理 (9)
- 网络 (3)
- 架构 (83)
- 安全 (2)
- 数据挖掘 (16)
- 分析 (9)
- 数据结构 (2)
- 互联网 (6)
- 网络安全 (1)
- 框架 (9)
- 视频 (2)
- 计算机,SEO (3)
- 搜索引擎 (31)
- SEO (18)
- UML (1)
- 工具使用 (2)
- Maven (41)
- 其他 (7)
- 面向对象 (5)
- 反射 (1)
- 设计模式 (6)
- 内存数据库 (2)
- NoSql (9)
- 缓存 (7)
- shell (9)
- IQ (1)
- 源码 (1)
- Js (23)
- HttpClient (2)
- excel (1)
- Spring (7)
- 调试 (4)
- mysql (18)
- Ajax (3)
- JQuery (9)
- Comet (1)
- 英文 (1)
- C# (1)
- HTML5 (3)
- Socket (2)
- 养生 (1)
- 原理 (2)
- 倒排索引 (4)
- 海量数据处理 (1)
- C (2)
- Git (59)
- SQL (3)
- LAMP (1)
- 优化 (2)
- Mongodb (20)
- JMS (1)
- Json (15)
- 定位 (2)
- Google地图 (1)
- memcached (10)
- 压测 (4)
- php.性能优化 (1)
- 励志 (1)
- Python (7)
- 排序 (3)
- 数学 (3)
- 投票算法 (2)
- 学习 (1)
- 跨站攻击 (1)
- 前端 (8)
- SuperFish (1)
- CSS (2)
- 评论挖掘分析 (1)
- Google (13)
- 关键词分析 (1)
- 地图 (1)
- Gzip (1)
- 压缩 (1)
- 爬虫 (13)
- 流量统计 (1)
- 采集 (1)
- 日志分析 (2)
- 浏览器兼容 (1)
- 图片搜索引擎技术 (2)
- 空间 (1)
- 用户体验 (7)
- 免费空间 (1)
- 社交 (2)
- 图片处理 (2)
- 前端工具 (1)
- 商业 (3)
- 淘宝 (3)
- 站内搜索 (1)
- 网站收藏 (1)
- 理论 (1)
- 数据仓库 (2)
- 抓包 (1)
- Hadoop (105)
- 大数据 (6)
- Lucene (34)
- Solr (31)
- Drupal (1)
- 集群 (2)
- Lu (2)
- Mac (4)
- 索引 (9)
- Session共享 (1)
- sorl (10)
- JVM (9)
- 编码 (1)
- taobao (14)
- TCP/IP (4)
- 你可能會感興趣 (3)
- 幽默笑话 (7)
- 服务器整合 (1)
- Nginx (9)
- SorlCloud (4)
- 分佈式搜索 (1)
- ElasticSearch (30)
- 網絡安全 (1)
- MapReduce (8)
- 相似度 (1)
- 數學 (1)
- Session (3)
- 依賴注入 (11)
- Nutch (8)
- 云计算 (6)
- 虚拟化 (3)
- 财务自由 (1)
- 开源 (23)
- Guice (1)
- 推荐系统 (2)
- 人工智能 (1)
- 环境 (2)
- Ucenter (1)
- Memcached-session-manager (1)
- Storm (54)
- wine (1)
- Ubuntu (23)
- Hbase (44)
- Google App Engine (1)
- 短信 (2)
- 矩阵 (1)
- MetaQ (34)
- GitHub &Git &私/公有库 (8)
- Zookeeper (28)
- Exception (24)
- 商务 (1)
- drcp (1)
- 加密&解密 (1)
- 代码自动生成 (1)
- rapid-framework (1)
- 二次开发 (1)
- Facebook (3)
- EhCache (1)
- OceanBase (1)
- Netlog (1)
- 大数据量 (2)
- 分布式 (3)
- 事物 (2)
- 事务 (2)
- JPA (2)
- 通讯 (1)
- math (1)
- Setting.xml (3)
- 络驱动器 (1)
- 挂载 (1)
- 代理 (0)
- 日本語の (1)
- 花生壳 (7)
- Windows (1)
- AWS (2)
- RPC (11)
- jar (2)
- 金融 (1)
- MongDB (2)
- Cygwin (1)
- Distribute (1)
- Cache (1)
- Gora (1)
- Spark (31)
- 内存计算 (1)
- Pig (2)
- Hive (21)
- Mahout (17)
- 机器学习 (34)
- Sqoop (1)
- ssh (1)
- Jstack (2)
- Business (1)
- MapReduce.Hadoop (1)
- monitor (1)
- Vi (1)
- 高并发 (6)
- 海量数据 (2)
- Yslow (4)
- Slf4j (1)
- Log4j (1)
- Unix (3)
- twitter (2)
- yotube (0)
- Map-Reduce (2)
- Streaming (1)
- VMware (1)
- 物联网 (1)
- YUI (1)
- LazyLoad (1)
- RocketMQ (17)
- WiKi (1)
- MQ (1)
- RabbitMQ (2)
- kafka (3)
- SSO (8)
- 单点登录 (2)
- Hash (4)
- Redis (20)
- Memcache (2)
- Jmeter (1)
- Tsung (1)
- ZeroMQ (1)
- 通信 (7)
- 开源日志分析 (1)
- HDFS (1)
- zero-copy (1)
- Zero Copy (1)
- Weka (1)
- I/O (1)
- NIO (13)
- 锁 (3)
- 创业 (11)
- 线程池 (1)
- 投资 (3)
- 池化技术 (4)
- 集合 (1)
- Mina (1)
- JSMVC (1)
- Powerdesigner (1)
- thrift (6)
- 性能,架构 (0)
- Web (3)
- Enum (1)
- Spring MVC (15)
- 拦截器 (1)
- Web前端 (1)
- 多线程 (1)
- Jetty (1)
- emacs (1)
- Cookie (2)
- 工具 (1)
- 分布式消息队列 (1)
- 项目管理 (2)
- github (21)
- 网盘 (1)
- 仓库 (3)
- Dropbox (2)
- Tsar (1)
- 监控 (3)
- Argo (2)
- Atmosphere (1)
- WebSocket (5)
- Node.js (6)
- Kraken (1)
- Cassandra (3)
- Voldemort (1)
- VoltDB (2)
- Netflix (2)
- Hystrix (1)
- 心理 (1)
- 用户分析 (1)
- 用户行为分析 (1)
- JFinal (1)
- J2EE (1)
- Lua (2)
- Velocity (1)
- Tomcat (3)
- 负载均衡 (1)
- Rest (2)
- SerfJ (1)
- Rest.li (1)
- KrakenJS (1)
- Web框架 (1)
- Jsp (2)
- 布局 (2)
- NowJs (1)
- WebSoket (1)
- MRUnit (1)
- CouchDB (1)
- Hiibari (1)
- Tiger (1)
- Ebot (1)
- 分布式爬虫 (1)
- Sphinx (1)
- Luke (1)
- Solandra (1)
- 搜素引擎 (1)
- mysqlcft (1)
- IndexTank (1)
- Erlang (1)
- BeansDB (3)
- Bitcask (2)
- Riak (2)
- Bitbucket (4)
- Bitbuket (1)
- Tokyo Cabinet (2)
- TokyoCabinet (2)
- Tokyokyrant (1)
- Tokyo Tyrant (1)
- Memcached协议 (1)
- Jcrop (1)
- Thead (1)
- 详设 (1)
- 问答 (2)
- ROM (1)
- 计算 (1)
- epoll (2)
- libevent (1)
- BTrace (3)
- cpu (2)
- mem (1)
- Java模板引擎 (1)
- 有趣 (1)
- Htools (1)
- linu (1)
- node (3)
- 虚拟主机 (1)
- 闭包 (1)
- 线程 (1)
- 阻塞 (1)
- LMAX (2)
- Jdon (1)
- 乐观锁 (1)
- Disruptor (9)
- 并发 (6)
- 为共享 (1)
- volatile (1)
- 伪共享 (1)
- Ringbuffer (5)
- i18n (2)
- rsync (1)
- 部署 (1)
- 压力测试 (1)
- ORM (2)
- N+1 (1)
- Http (1)
- web开发脚手架 (1)
- Mybatis (1)
- 国际化 (2)
- Spring data (1)
- R (4)
- 网络爬虫 (1)
- 条形码 (1)
- 等比例缩放 (1)
- java,面向接口 (1)
- 编程规范 (1)
- CAP (1)
- 论文 (1)
- 大数据处理 (1)
- Controller (3)
- CDN (2)
- 程序员 (1)
- Spring Boot (3)
- sar (1)
- 博弈论 (1)
- 经济 (1)
- Scrapy (1)
- Twistedm (1)
- cron (1)
- quartz (1)
- Debug (1)
- AVO (1)
- 跨语言 (1)
- 中间服务 (2)
- Dubbo (4)
- Yarn (1)
- Spring OSGI (1)
- bundle (1)
- OSGI (1)
- Spring-Boot (1)
- CA证书 (1)
- SSL (1)
- CAS (7)
- FusionCharts (5)
- 存储过程 (3)
- 日志 (2)
- OOP (2)
- CentOS (5)
- JSONP (2)
- 跨域 (5)
- P3P (1)
- Java Cas (1)
- CentOS 6.5 Released – Installation Guide with Screenshots (1)
- Android (1)
- 队列 (2)
- Multitail (1)
- Maout (1)
- nohup (1)
- AOP (1)
- 长连接 (3)
- 轮循 (2)
- 聊天室 (1)
- Zeus (1)
- LSM-Tree (1)
- Slope One (1)
- 协同过滤 (1)
- 服务中间件 (1)
- KeyMeans (1)
- Bitmap (1)
- 实时统计 (1)
- B-Tree+ (1)
- PageRank (1)
- 性能分析 (1)
- 性能测试 (1)
- CDH (10)
- 迭代计算 (1)
- Jubatus (1)
- Hadoop家族 (8)
- Cloudera (2)
- RHadoop (1)
- 广告定价 (1)
- 广告系统 (9)
- 广告系统,架构 (1)
- Tag推荐算法 (1)
- 相似度算法 (1)
- 页面重构 (2)
- 高性能 (6)
- Maven3 (3)
- Gradle (11)
- Apache (1)
- Java并发 (1)
- Java多进程 (1)
- Rails (1)
- Ruby (3)
- 系统架构 (1)
- 运维 (36)
- 网页设计 (1)
- TFS (0)
- 推荐引擎 (0)
- Tag提取算法 (1)
- 概率统计 (1)
- 自然语言处理 (2)
- 分词 (1)
- Ruby.Python (1)
- 语义相似度 (0)
- Chukwa (0)
- 日志收集系统 (0)
- Data Mining (4)
- 开放Api (1)
- Scala (28)
- Ganglia (2)
- mmap (1)
- 贝叶斯分类 (1)
- 运营 (1)
- Mdrill (1)
- Lambda (2)
- Netty (5)
- Java8 (1)
- Solr4 (1)
- Akka (12)
- 计算广告 (2)
- 聊天系统 (1)
- 服务发现 (1)
- 统计指标 (1)
- NLP (1)
- 深度学习 (0)
最新评论
-
wahahachuang5:
web实时推送技术使用越来越广泛,但是自己开发又太麻烦了,我觉 ...
使用 HTML5 WebSocket 构建实时 Web 应用 -
秦时明月黑:
Jetty 服务器架构分析 -
chenghaitao111111:
楼主什么时候把gecko源码分析一下呢,期待
MetaQ技术内幕——源码分析(转) -
qqggcc:
为什么还要写代码啊,如果能做到不写代码就把功能实现就好了
快速构建--Spring-Boot (quote) -
yongdi2:
好厉害!求打包代码
Hadoop日志文件分析系统
发表评论
-
朴素贝叶斯
2016-03-03 13:05 0机器学习/推荐系统课程链接:http:// ... -
牛顿下山法
2016-03-03 12:59 4 -
泰勒级数
2016-03-03 12:46 8机器学习/推荐系统课程链接:http: ... -
梯度下降法
2016-03-03 12:40 14机器学习/推荐系统课程链接:h ... -
微积分-线性代数理解最小二乘法
2016-03-03 12:34 30机器学习/推荐系统课程链接:http: ... -
图解偏导-形象理解梯度下降法
2016-03-03 11:21 11机器学习/推荐系统课程链 ... -
梯度下降法
2016-03-03 10:52 8机器学习/推荐系统课程 ... -
微积分-线性代数理解最小二乘法
2016-03-03 10:36 8机器学习/推荐系统课程链接:http ... -
语义分析的一些方法(三)
2015-02-11 13:54 13913 图片语义分析 3.1 图 ... -
语义分析的一些方法(二)
2015-02-11 13:52 14912 文本语义分析 前面讲到一些文本基本处理方法。一个文本 ... -
语义分析的一些方法(一)(转)
2015-02-11 11:10 904语义分析,本文指运用各种机器学习方法,挖掘与学习文本、 ... -
最小二乘法
2014-07-07 08:44 167最小二乘法 -- 百科 -
隐马尔可夫模型
2014-07-07 08:45 1017百科 马尔科夫模型 隐马尔科夫模型 ... -
Confusion Matrix
2014-07-03 09:54 826A confusion matrix (Kohavi and ... -
算法杂货铺——分类算法之决策树(Decision tree)
2014-06-24 15:16 7393.1、摘要 在前面两篇文章中,分别介绍和讨 ... -
决策树算法总结
2014-06-23 09:29 593参考:《机器学习》Tom版 以及http://blog.c ... -
决策树算法
2014-06-23 09:27 552机器学习中,决策树 ... -
分类算法之朴素贝叶斯分类(Naive Bayesian classification)
2014-06-18 12:20 9131.1、摘要 贝叶斯分类是一类分类算法的总称 ... -
Comparing Document Classification Functions of Lucene and Mahout
2014-06-26 09:55 854Starting with version 4.2, Lu ... -
贝叶斯方法的m-估计
2014-06-11 09:06 707为什么要有m-估计? 当我们通过在全部事件的基础上观察某 ...
相关推荐
使用朴素贝叶斯分类Iris数据,含Iris原始数据和实验报告
该文档为朴素贝叶斯分类算法的实现步骤,包括源码注解和详细步骤
实现朴素贝叶斯分类器算法基本功能,代码有注释,还包括一个垃圾邮件过滤的实例。另外我这次用的是python2.7版,如果用python3的可能需要根据提示修改几个语法(sorted函数的参数)。
java实现朴素贝叶斯分类算法
朴素贝叶斯分类器的代码,还有一些hadoop运行时出现的问题
朴素贝叶斯分类器 MATLAB 源代码,里面含有使用实例,用的是 UCI 的 mushroom 数据集。 分类器详细介绍见: http://blog.csdn.net/yunduanmuxue/article/details/39693917
机器学习领域一个非常重要理论就是贝叶斯理论,本文就是一篇关于使用朴素贝叶斯分类器来进行多维数据分类的学习使用文档,由于使用latex进行排版,所以就直接上传PDF文档了,如有问题可以在CSDN上私信我,多谢批评...
朴素贝叶斯分类器.本例用于识别手写的数字A~J!!!!
这个是我自己写的朴素贝叶斯分类器,离散化用的是信息增益率算的!里面有Readme.txt说的还算详细,程序里也有注释!程序写的比较简单,希望高手能指点!这个是个VS工程。 忘说了,如果自己做测试数据集的话,最后...
资源难得啊,花钱买的,基于属性加权的朴素贝叶斯分类算法.kdh
本文实例讲述了朴素贝叶斯分类算法原理与Python实现与使用方法。分享给大家供大家参考,具体如下: 朴素贝叶斯分类算法 1、朴素贝叶斯分类算法原理 1.1、概述 贝叶斯分类算法是一大类分类算法的总称 贝叶斯分类算法...
基于权重的朴素贝叶斯分类器设计与实现基于权重的朴素贝叶斯分类器设计与实现基于权重的朴素贝叶斯分类器设计与实现基于权重的朴素贝叶斯分类器设计与实现基于权重的朴素贝叶斯分类器设计与实现基于权重的朴素贝叶斯...
基于朴素贝叶斯分类器的简单手写体数字识别 .
在VC6.0编译环境下使用C++编写的朴素贝叶斯分类程序
模式识别朴素贝叶斯分类器下载模式识别朴素贝叶斯分类器下载
Python 文本数据 药品数据挖掘NLP朴素贝叶斯分类 自然语言处理 向量化 python输入输出函数编写 jupyter notebook numpy pandas sklearn 数据分析 数据挖掘
主要介绍了Python实现的朴素贝叶斯分类器,结合具体实例形式分析了基于Python实现的朴素贝叶斯分类器相关定义与使用技巧,需要的朋友可以参考下
针对朴素贝叶斯分类算法中缺失数据填补问题,提出一种基于改进EM(Expectation Maximization)算法的朴素贝叶斯分类算法。该算法首先根据灰色相关度对缺失数据一个估计,估计值作为执行EM算法的初始值,迭代执行E步M...
朴素贝叶斯分类是一种十分简单的分类算法,叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素,朴素贝叶斯的思想基础是这样的:对于给出的待分类项,求解在此项出现的条件下各个类别出现的概率,哪个最大,就认为此...
MATLAB实现朴素贝叶斯分类对手写数字数据集进行分类