期望最大（EM）算法推导

X是一个随机向量，我们希望找到
使得取得最大值，这就是关于的最大似然估计。
为了方便估计，我们一般引入log似然函数：

EM算法是一个迭代的过程，假设第n次迭代当前的估计是。由于我们的目标是最大化，我们希望新一轮的更新使得

等价的，我们希望最大化他们的不同：

现在我们考虑隐变量的问题，隐变量可能是没有观测到的或者缺失的变量，有时为了计算最大似然函数更容易解决也会引入隐变量，因为可以利用EM框架来方便计算。我们假设隐变量用Z来表示，那么

我们重写一下得到：

利用Jensen's不定式：

其中常量并且






其中由于
所以有：

我们可以写作：

为了方便，我们定义：

这样我们得到


现在我们得到了似然函数的下界
另外我们观察到：



所以当时，


所以任何能够增加的都会增加
所以EM算法选择最大化

最终我们得到：


去掉相对于的常量得到：





所以EM包含以下迭代步骤：
1、E-step: 得到条件期望
2、M-step：求解最大化该条件期望