相对熵(relative entropy)又称为KL散度(Kullback–Leibler divergence,简称KLD),信息散度(information divergence),信息增益(informationgain)。
KL散度是两个概率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的比特个数。典型情况下,P表示数据的真实分布,Q表示数据的理论分布,模型分布,或P的近似分布。
定义:
对一个离散随机变量的两个概率分布P和Q来说,他们的KL散度定义为:D(P||Q)=∑P(i)lnP(i)/Q(i),对于连续的随机变量,定义类似。(来自百度百科)
如果知道概率密度p,用熵H(Entropy)就可以估计出图像的信息量,而与其解释无关。熵的概念是根源于热力学和统计学,而熵的信息论的形成是源于香农(Shannon),也成为信息熵(information entropy)。
信息熵的直觉理解与关联于给定概率分布的事件的不确定性大小有关。熵可作为“失调”的度量。当失调水平上升是,熵就增加而事件就越难预测。
假设一下离散随机变量X的可能结果(也称做状态)是X1,...,Xn,设P()是出项(k=1,...,n)的概率,熵定义为
随机变量X的熵X所有可能的出现的如下乘积的累加和:出现的概率与概率的倒数值对数的乘积。也称作出现的惊异(surprisal)。随机变量X的熵是其出现惊异的期望值。
这个公式中的对数的底决定所量度的熵的单位。如果底为2则熵的单位是位(bit(s))。
熵度量随机变量实现的不确定性。对香农来说,它充当了俘获了一条信息中所含的信息量这一概念的代表,而完全不同于该信息的那部分严格确定的和由其内在结构所能预测的含义。在图形处理上可以用熵来估计一幅图像的冗余性。
相关推荐
In this paper we propose a new image randomness measure using Shannon entropy over local image blocks. The proposed local Shannon entropy measure overcomes several weaknesses of the conventional ...
entropy, conditional information, and discrimination or relative entropy, along with the limiting normalized versions of these quantities such as entropy rate and information rate. Much of the book is...
causal entropy markov games, good introduction; a new perspective
医学图像融合后的评价指标:交叉熵;应该使用标准图像&融合后图像,使用方法cross_entro=num2str(cross_entropy(data.M1,data.M2));
Entropy and Information Theory
mac 办公软件,压缩解压缩软件,Entropy16.dmg
资源名:微分熵_Differential Entropy_matlab 资源类型:matlab项目全套源码 源码说明: 全部项目源码都是经过测试校正后百分百成功运行的,如果您下载后不能运行可联系我进行指导或者更换。 适合人群:新手及有...
(On chaotic Kolmogorov entropy calculation procedure, based on predecessors have written. Has been used a lot of chaotic time series K entropy calculations.) 文件列表: correlation_interal.dll ...
本代码是论文: Liu M Y, Tuzel O, ... Entropy rate superpixel segmentation[C]// Computer Vision and Pattern Recognition. IEEE, 2011:2097-2104. 的实现代码,网络上的原始链接均已失效,分享出来给大家研究
本例使用JAVA语言实现了信息熵Entropy的计算,代码简单易懂
Information Theoretic Learning Renyi's Entropy and Kernel Perspectives chapter9 信息论和模式识别的相关资料
2004年MIT开放课程内容,information and entropy,值得一读
matlab开发-Entropy。帮助找到最佳决策树
The information provided by the source will be the average value of the information provided by each symbol individually each time they appear. This parameter is called Source Entropy.
High Throughput CABAC Entropy Coding in HEVC 这是一篇介绍HEVC中CABAC熵编码的论文,被IEEE顶级期刊收录,对HEVC初学者有很高的参考价值。
entropy-0.11-cp35-cp35m-win32
Rao’s Quadratic Entropy, Risk Management and Portfolio 投资组合风险分散性论文
1.softmax loss理解 3.由softmax到softmaxloss到cross entropy 1.softmax loss理解 3.由softma
求一维时间序列的样本熵(Sample Entropy)值,包含 计算时间序列样本熵值的程序 :SampEn.m 调用SampEn的例程 SampEn_test 和测试数据数据 data 测试结果为 0.1736