译码方案译码错误

译码方案$f$是一个从部分输出字符串到码字集合的函数关系，即收到字符串 $d$ 后，译码方案确定 $f(d)$就是发送的码字。如果 $f(d)$不是发送的码字，就称发生了译码错误。令
B c = f − 1 ( c ) = { d ∣ f ( d ) = c } B_c=f^{-1}\left(c\right)=\left\{d\mid f\left(d\right)=c\right\} Bc​=f−1(c)={d∣f(d)=c}
为所有译为码字$c$的输出字符串集合，则译码方案$f$也可看成是由互不相交的输出
字符串集合{$B_c\}$构成的集族。
对于一个译码方案 $f$ ,如果输人码字为 $c$ ,则译码错误发生的概率由下式给出：

$$P(错误\mid c)=\sum _{d\notin f^{-1}(c)}p(d\mid c)$$
所以，译码方案$f$发生的译码错误概率为
$$p_{\mathrm{e}}=\sum _{c}P(\text{错误}\mid c)p(c)=\sum _c\sum _{d\notin f^{-1}(c)}p(d\mid c)p(c)$$
这个译码错误概率显然与译码方案以及输入分布相关。
如果以输出估计译码错误概率，则可以帮助我们确定更好的译码方案以减少译码错误。所以，现在以输出来计算译码错误概率。如果输出是 $d$,那么译码正确当且仅当 $f(d)$恰好就是输入的码字。于是，
$$P(\text{错误}\mid d)=1-p[f(d)\mid d]$$
对所有输出求平均值得到译码错误概率为
$$p_{\mathrm{e}}=\sum _{d}P(\text{错误}\mid d)p(d)=1-\sum _{d}p[f(d)\mid d]p(d)$$
由于$p(d)$不依赖于译码方案，所以，对于每个$d$,可以选择 $f(d)$使得 $p[f(d)|d]$尽可能大，以使上面的译码错误概率尽可能小。