最大后验概率法

2023-12-29 18:52:13

在贝叶斯统计中，最大后验概率（maximum a posteriori, MAP）估计是对后验分布的模的估计。MAP可根据经验数据获得未观测量的点估计。它与最大似然（ML）估计方法密切相关，但采用了一个包含先验分布的增强优化目标。因此，MAP估计可以看作ML估计的正则化方法。

对于\bold x=x_1,x_2,...,x_n，ML估计为：

\hat \theta _{MLE}=\mathop{\arg\max}\limits_{\theta} p(\bold{x}|\theta)=\mathop{\arg\max}\limits_{\theta} \prod_{i=1}^{n} p(x_i|\theta)=\mathop{\arg\max}\limits_{\theta} \log\prod_{i=1}^{n} p(x_i|\theta)=\mathop{\arg\max}\limits_{\theta} \sum_{i=1}^{n}\log p(x_i|\theta)

?而MAP估计为：

\hat \theta _{MAP} =\mathop{\arg\max}\limits_{\theta} \frac{p(\bold{x}|\theta)p(\theta)}{p(\bold{x})} =\mathop{\arg\max}\limits_{\theta} p(\bold{x}|\theta)p(\theta) =\mathop{\arg\max}\limits_{\theta} \prod_{i=1}^{n} p(x_i|\theta)p(\theta) =\mathop{\arg\max}\limits_{\theta} \sum_{i=1}^{n}\log p(x_i|\theta)p(\theta)

显然，如果先验分布是个常数，\hat \theta_{MLE}和\hat \theta_{MAP}相等。

如果后验分布的模可以以封闭的数学形式给出（比如使用共轭先验时），则可以用分析方法得到MAP估计。如果不能得到封闭形式，或者太复杂，则可用共轭梯度法或牛顿法等数值优化法，这通常需要采用两阶导数。如果不用导数，可使用改进的EM算法，也可以使用模拟退火的蒙特卡洛方法。

文章来源:https://blog.csdn.net/weixin_55252589/article/details/135294781
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。