最小期望风险估计

最小期望风险估计（Minimum Expected Risk Estimation, MER）是一种在贝叶斯框架下，通过最小化期望损失（或风险）来选择最优估计值的方法。这种方法不仅考虑了参数的不确定性，还考虑了估计误差的代价。

基本概念

1. 损失函数：

   • 损失函数$L(\theta ,\hat{\theta })$表示当参数的真实值为 $\theta$ 时，估计值 $\hat{\theta }$ 所带来的损失。常见的损失函数包括：
     • 平方损失：$L(\theta ,\hat{\theta })=(\theta -\hat{\theta }{)}^2$
     • 绝对损失：$L(\theta ,\hat{\theta })=|\theta -\hat{\theta }|$
     • 0-1损失：$L(\theta ,\hat{\theta })=I(\theta \ne \hat{\theta })$，其中 $I$ 是指示函数。

2. 期望风险：

   • 期望风险（或期望损失）是指在给定观测数据$x$的情况下，参数 $\theta$ 的后验分布$p(\theta |x)$下的平均损失。数学上，期望风险定义为：
     $$R(\hat{\theta })=E[L(\theta ,\hat{\theta })|x]=\int L(\theta ,\hat{\theta })p(\theta |x)d\theta$$

最小期望风险估计

为了找到最小期望风险的估计值，我们需要选择一个估计值 $\hat{\theta }$，使得期望风险$R(\hat{\theta })$达到最小。具体步骤如下：

1. 定义损失函数：

   • 选择一个合适的损失函数$L(\theta ,\hat{\theta })$。不同的损失函数会导致不同的最优估计值。

2. 计算期望风险：

   • 对于给定的估计值 $\hat{\theta }$，计算期望风险$R(\hat{\theta })$：
     $$R(\hat{\theta })=\int L(\theta ,\hat{\theta })p(\theta |x)d\theta$$

3. 最小化期望风险：

   • 选择一个估计值 ${\hat{\theta }}^{\ast }$，使得期望风险最小：
     $${\hat{\theta }}^{\ast }=\arg \underset{\hat{\theta }}{\min }R(\hat{\theta })$$

常见的最优估计值

1. 平方损失：

   • 当损失函数为平方损失$L(\theta ,\hat{\theta })=(\theta -\hat{\theta }{)}^2$时，最小期望风险的估计值是后验期望估计（Posterior Mean）：
     $${\hat{\theta }}^{\ast }=E[\theta |x]=\int \theta p(\theta |x)d\theta$$

2. 绝对损失：

   • 当损失函数为绝对损失$L(\theta ,\hat{\theta })=|\theta -\hat{\theta }|$时，最小期望风险的估计值是后验中位数估计（Posterior Median）：
     $${\hat{\theta }}^{\ast }=\text{median}(\theta |x)$$

3. 0-1损失：

   • 当损失函数为0-1损失$L(\theta ,\hat{\theta })=I(\theta \ne \hat{\theta })$时，最小期望风险的估计值是后验众数估计（Maximum A Posteriori, MAP）：
     $${\hat{\theta }}^{\ast }=\arg \underset{\theta }{\max }p(\theta |x)$$