最小均方估计贝叶斯估计
在贝叶斯框架下，后验期望估计（Posterior Mean Estimator, PME）和最小均方估计（Minimum Mean Square Error Estimator, MMSE）是等价的。
后验期望估计 (PME)
- 定义: 在贝叶斯统计中，后验期望估计是指根据先验分布和似然函数得到的后验分布的均值作为参数的估计值。形式上，如果 θ \theta θ 是待估参数， x x x 是观测数据，则后验期望估计为：
θ ^ PME = E [ θ ∣ x ] = ∫ θ p ( θ ∣ x ) d θ \hat{\theta}_{\text{PME}} = E[\theta | x] = \int \theta p(\theta | x) d\theta θ^PME=E[θ∣x]=∫θp(θ∣x)dθ
其中 p ( θ ∣ x ) p(\theta | x) p(θ∣x) 是给定观测数据 x x x 下的后验概率密度函数。
最小均方估计 (MMSE)
- 定义: 最小均方估计是指在所有可能的估计量中，选择那个使得估计值与真实值之间的均方误差（Mean Square Error, MSE）最小的估计量。均方误差定义为：
MSE ( θ ^ ) = E [ ( θ ^ − θ ) 2 ] \text{MSE}(\hat{\theta}) = E[(\hat{\theta} - \theta)^2] MSE(θ^)=E[(θ^−θ)2]
其中 θ ^ \hat{\theta} θ^ 是估计值， θ \theta θ 是真实值。
二者之间的关系
-
等价性: 在贝叶斯框架下，后验期望估计正是最小均方估计。这是因为后验期望估计直接最小化了均方误差。具体来说，对于任意估计量 θ ^ \hat{\theta} θ^，均方误差可以表示为：
MSE ( θ ^ ) = E [ ( θ ^ − θ ) 2 ] = E [ ( θ ^ − E [ θ ∣ x ] + E [ θ ∣ x ] − θ ) 2 ] \text{MSE}(\hat{\theta}) = E[(\hat{\theta} - \theta)^2] = E[(\hat{\theta} - E[\theta|x] + E[\theta|x] - \theta)^2] MSE(θ^)=E[(θ^−θ)2]=E[(θ^−E[θ∣x]+E[θ∣x]−θ)2]
展开并简化后可得：
MSE ( θ ^ ) = E [ ( θ ^ − E [ θ ∣ x ] ) 2 ] + E [ ( E [ θ ∣ x ] − θ ) 2 ] \text{MSE}(\hat{\theta}) = E[(\hat{\theta} - E[\theta|x])^2] + E[(E[\theta|x] - \theta)^2] MSE(θ^)=E[(θ^−E[θ∣x])2]+E[(E[θ∣x]−θ)2]
第二项 E [ ( E [ θ ∣ x ] − θ ) 2 ] E[(E[\theta|x] - \theta)^2] E[(E[θ∣x]−θ)2] 是条件均方误差，表示即使知道后验期望，仍然存在的不确定性；第一项 E [ ( θ ^ − E [ θ ∣ x ] ) 2 ] E[(\hat{\theta} - E[\theta|x])^2] E[(θ^−E[θ∣x])2] 则表示估计值与后验期望之间的差异。显然，当 θ ^ = E [ θ ∣ x ] \hat{\theta} = E[\theta|x] θ^=E[θ∣x] 时，第一项为零，此时均方误差最小。 -
直观理解: 从直观上看，后验期望估计是在给定数据的情况下，对参数值的最佳“平均”预测。因为它综合了所有可能的参数值及其相应的概率，因此能够提供一个在均方误差意义上最优的估计。
结论
在贝叶斯框架下，后验期望估计和最小均方估计是等价的。这一等价性表明，在贝叶斯估计中，通过计算后验分布的均值来估计未知参数，可以在均方误差的意义上达到最优。