【机器学习chp2】贝叶斯最优分类器、概率密度函数的参数估计、朴素贝叶斯分类器、高斯判别分析。万字超详细分析总结与思考

前言，请先看。

本文的《一》《二》属于两个单独的知识点：共轭先验和Laplace平滑，主要因为他们在本文的后续部分经常使用，又因为他们是本人的知识盲点，所以先对这两个知识进行了分析，后续内容按照标题中的顺序依次进行，观看时可以先跳过《一》《二》，后文遇到相关共轭先验和Laplace平滑的知识再回头看他们。另一个更重要的点是，本文用到了大量gpt的分析，部分我添加了我的理解并进行重要标注，还有一部分我想优化gpt的回答，但鄙人不才，gpt的分析太好了，条理清晰又通俗易懂，我改不了就直接放上去了。

推荐文章1，最大似然估计和最大后验估计细分析

【王木头】最大似然估计、最大后验估计-CSDN博客

推荐文章2，其中有最大似然估计的例子

【王木头·从感知机到神经网络】-CSDN博客

推荐文章3，文章中的第《五》部分介绍了部分矩估计相关的理论知识

【王木头】sigmoid和softmax有什么区别，softmax的本质是最大熵？_softmax softmoid-CSDN博客

目录

一、共轭先验

Beta分布

1、推导

2、Beta分布参数的实际意义

3、Beta分布作为先验时贝叶斯推断中的更新过程

4、Beta分布的性质

Dirichlet分布（狄利克雷分布）

1、多项分布

2、多项分布的例子

3、Dirichlet分布的定义

3、Dirichlet分布作为多项分布的先验时贝叶斯估计中的更新过程

4、直观解释 Dirichlet 分布作为多项分布的先验

二、Laplace平滑

1、动机和定义

2、例子

3、优缺点

4、Laplace平滑的扩展

三、贝叶斯最优分类器

1、最小错误率决策——最大后验概率决策

2、最小化风险决策

 1、从最小错误率决策到最小风险决策     

2、引入拒识

四、概率密度函数的参数估计

1、伯努利分布的极大似然估计

2、伯努利分布的贝叶斯估计

3、多项分布的极大似然估计

4、多项分布的贝叶斯估计

5、单变量高斯分布的极大似然估计

6、单变量高斯分布的贝叶斯估计

7、多元高斯分布的极大似然估计

五、朴素贝叶斯分类器

0、朴素贝叶斯分类器 · 理论介绍

（1）基本原理

（2）“朴素”假设

（3）朴素贝叶斯的不同模型

（4）分类过程

（5）分类过程中类先验概率的估计 

（6）分类过程中类条件概率的估计 

（7）朴素贝叶斯与最大似然估计、最大后验估计的联系

（8）朴素贝叶斯分类器的优缺点

1、多项式朴素贝叶斯分类举例 （PPT上的例子）

问题背景

步骤 1：计算先验概率

步骤 2：计算条件概率（类条件分布）

步骤 3：预测新用户

步骤 4：比较后验概率

2、高斯朴素贝叶斯分类器举例

问题背景

数据集

步骤 1：计算先验概率

步骤 2：计算类条件概率的参数（均值和方差）

步骤 3：预测新样本

六、高斯判别分析

1、高斯判别分析的基本假设

2、类别的先验分布

3、判别函数

4、二次判别分析（QDA）

5、线性判别分析（LDA）

6、特殊情况：协方差矩阵为对角阵

7、高斯判别模型的训练

8、收缩估计（Shrinking Estimation）——正则化

总结

七、⭐全文总结⭐

1、对于贝叶斯分类器

2、对于概率密度函数的参数估计

3、对于朴素贝叶斯分类器

4、对于高斯判别分析

---

一、共轭先验

最大似然估计和最大后验估计是点估计，贝叶斯估计的参数估计不再是一个点估计，而是一个对一个分布的估计，即它估计的是一系列参数值的一个分布 ，共轭先验（Conjugate Prior）是贝叶斯统计中的一个概念，指的是在贝叶斯更新中选择一种特殊的先验分布，使得在观察数据后得到的后验分布与先验分布属于同一家族，对伯努利分布（二项分布就是伯努利分布）进行贝叶斯估计时，使用Beta分布作为共轭先验可以简化运算。对多项分布进行贝叶斯估计时，选用Dirichlet分布作为共轭先验可以简化运算。

Beta分布

1、推导

Beta分布本质是概率分布P的概率分布，在《推荐文章2》中的抛硬币的例子中，在知道结果前，概率分布为：

，可见先验  变化时， 也会相应发生变化，感觉一下应该是  随着  先增大后减小；所以就可以把  写成一个概率分布的形式，显然 ，而要写成概率分布，概率密度就要归一化，对  积分得  ，所以  的分布可写成：                                       

                                                     

更一般的，如果先验的实验次数分别为  次成功和  次失败，则概率分布  的概率分布可写为：

                                                

其中归一系数的倒数可表示为，被称为Beta函数。

以上就是Beta分布推导的精髓。

在上面抛硬币的例子中，先验是均匀分布，取，即，符合分布，数据信息是3次正面和7次反面，所以后验为分布 。

2、Beta分布参数的实际意义

在 Beta 分布中，参数 和 可以被解释为**“先验成功和失败的次数加 1”**。这就是说：

• 可以看作是我们在先验信念中预期的“成功”次数。
• 可以看作是我们在先验信念中预期的“失败”次数。

这解释了为什么 Beta 分布的概率密度函数（PDF）是：

                                                

这里的 和 正是对“成功”和“失败”次数的参数化，体现了我们在先验中已经观测到的“成功”和“失败”的预期数量。

3、Beta分布作为先验时贝叶斯推断中的更新过程

在我们选择了 Beta 分布作为先验后，观测数据可以不断更新这个先验分布。假设我们进行了一些实验，例如进行了一系列伯努利试验（比如多次抛硬币）并观察到 次成功和 次失败。此时，可以根据观测数据对先验分布进行更新，从而得到后验分布。

假设：

• 初始的先验分布是 。
• 观测到 次成功（事件发生）和 次失败（事件未发生）。

则观测数据的似然函数为：

                                                        

根据贝叶斯公式，后验分布 可以通过将似然与先验相乘并标准化得到：

                                                        

代入具体的形式得到：

                                        

可以将其整理为：

                                                

这就是一个新的 Beta 分布的形式，后验分布为：

                                        ​​​​​​​        

因此，更新后的后验分布仍然是 Beta 分布，只需更新参数为 和 。这种共轭性质使得 Beta 分布在处理伯努利分布和二项分布时特别方便。

4、Beta分布的性质

参数 和 控制着 Beta 分布的形状，使得分布可以表示不同的概率模式。

（1）均值

均值（中心位置）：

                                                         期望  

因此，均值由 和 的比率决定。例如，较大的 值会使分布更靠近1（更偏向成功），而较大的 值会使分布更靠近0（更偏向失败）。

（2）方差

方差（集中程度）：

                                                方差​

当 和 较小时，方差较大，表示对 的不确定性更大，先验的次数很少导致分布比较离散；当 和 较大时，方差较小，表示对 的不确定性较小。也就是说， 越大，分布越集中，对事件的发生概率 越有信心。

（3）α和β不同组合下的解释

• 均匀分布：当 且 时，Beta 分布是均匀分布，即对区间 上的所有值都持等可能的信念。这表示对事件的概率没有任何偏好或先验知识。

• 向 1 倾斜的分布：当 且 时，Beta 分布倾向于靠近 1。这表示我们在先验上认为事件的发生概率较大，即对事件发生抱有较强的信心。

• 向 0 倾斜的分布：当 且 时，Beta 分布倾向于靠近 0。这表示我们在先验上认为事件的发生概率较小，即认为事件不太可能发生。

• 钟形分布：当 且 时，Beta 分布呈钟形，集中在 0 和 1 之间的某个位置。这表示对事件发生概率有一定的偏好，但并不极端。

• U形分布：当 且 时，Beta 分布在 0 和 1 处有较高的密度，中间位置概率较低。它表示对事件的概率有强烈的二分倾向，即要么很可能发生，要么不太可能发生，但不倾向于中间值。

（4）α和β取值相等但取较大的值和较小的值的区别

（i）参数相等的意义：对称的先验信念

当 时，Beta 分布是对称的，即 关于 对称。这表明我们对事件发生和不发生的概率没有任何偏好或倾向，反映了先验信念的平衡 。

（ii）较小的α=β，对事件概率缺乏确定性

当  时，Beta 分布就是一个均匀分布，即在 区间上所有的概率值都是等可能的。这表明我们对事件的概率没有任何先验知识或偏好，每个概率值都同等可能。

当 和 更小（比如 ），Beta 分布在 0 和 1 处出现较高的概率密度，而中间的概率值较小。这表示我们认为事件要么几乎一定会发生（概率接近 1），要么几乎不会发生（概率接近 0）。这是一种对概率的“二分倾向”，体现了极端的、不确定的先验信念。

（iii）较大的α=β，对事件概率的确定性增加

当 和 是较大的数（例如， 或 ），Beta 分布在物理上表现出一种高度确定性或强烈的先验信念。具体来说：

• 较大的 和 值使得 Beta 分布更加集中在 附近，呈现出一个钟形曲线，表明我们认为事件发生的概率接近 。
• 参数值越大，Beta 分布越集中，表示我们对事件发生概率接近 的信念越强烈。因此，当我们观测到新的数据时，这些观测数据对后验分布的影响较小，因为我们对事件的概率已有较强的先验信念。

物理意义上，较大的 和 表示我们对事件发生概率的估计非常有信心，认为它很接近 ，因此观测数据的影响会被削弱。这种情况下，先验分布的权重较大，不容易被新数据改变。

Dirichlet分布（狄利克雷分布）

1、多项分布

（1）定义

2、多项分布的例子

3、Dirichlet分布的定义

Dirichlet 分布是定义在 -维概率简单形（即所有分量之和为 1 的非负向量）上的分布。假设随机变量 服从 Dirichlet 分布，其概率密度函数为：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

其中：

• 是 Dirichlet 分布的参数向量，称为浓度参数，每个 。
• 是归一化常数，称为 Beta 函数，定义为 ​。
• ​ 满足 且 ，因此 Dirichlet 分布定义在一个 -维的概率简单形上。

3、Dirichlet分布作为多项分布的先验时贝叶斯估计中的更新过程

4、直观解释 Dirichlet 分布作为多项分布的先验

二、Laplace平滑

1、动机和定义

2、例子

3、优缺点

4、Laplace平滑的扩展

三、贝叶斯最优分类器

1、最小错误率决策——最大后验概率决策

2、最小化风险决策

（2）、引入拒识

四、概率密度函数的参数估计

1、伯努利分布的极大似然估计

2、伯努利分布的贝叶斯估计

贝叶斯估计是对参数分布的估计，最大后验估计和最大似然估计是对参数的最大点估计。

• 先验分布：假设 服从 Beta 分布，即 ，其概率密度函数为：

          ​​​​​​​        ​​​​​​​        ​​​​​​​             

• 似然函数（基于伯努利分布）：

  ​​​​​​​                                          ​​​​​​​

  其中  和 ​ 分别是取值为 1 和 0 的样本数量。

• 后验分布：根据贝叶斯公式，后验分布为：

                          

  因此，后验分布仍然是 Beta 分布：

                                 ​​​​​​​

• 最大后验估计MAP（贝叶斯估计出来的后验分布的最大点）：

                                             ​​​​​​

        当 时，即使用均匀先验分布（等于1特指没有先验），MAP退化为MLE：

                                                           

• 后验均值估计（后验Beta 分布的期望值）：

                                               

  ​​​​​​​

3、多项分布的极大似然估计

• 背景：若随机变量 有 个可能的取值（例如 ），则 服从多项分布 ，其中 表示每个类别的概率。

• 似然函数：给定观测数据 ，其中 ​ 的取值属于 ，似然函数为

                                   

  其中 ​ 是类别 的样本数量。

• 对数似然函数：

                                                 

• 最大似然估计：由于 作为约束条件，使用拉格朗日乘数法优化，得到

                                                              

  其中 是样本总数。

4、多项分布的贝叶斯估计

• 先验分布：多项分布的共轭先验是 Dirichlet 分布。假设 ，其中 是超参数，表示先验观测次数。

• 似然函数：多项分布的似然函数为

                                                  ​​​​​​​​​​​​​​

• 后验分布：结合先验分布和似然函数，后验分布为

                                 

  因此，后验分布是一个 Dirichlet 分布：

                      

• 最大后验估计MAP（贝叶斯估计出来的后验分布的最大点）：

           

  其中

        当所有的 时，即使用均匀先验分布，MAP退化为MLE：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

• 后验均值估计（后验Dirichlet 分布的期望值）：

                                                       

5、单变量高斯分布的极大似然估计

• 假设：随机变量 ，即服从均值为 ，方差为 的正态分布。

• 概率密度函数：

                                     

• 对数似然函数： 给定样本数据 ，对数似然函数为：

              

• 最大似然估计： 对参数 和 求偏导并令其为零，可得到：

                                                                      其中 是样本均值， 是样本的经验方差。​​​​​​​​​​​​​​

这里其实并没有单变量，其实对两个变量都使用了极大似然估计。

6、单变量高斯分布的贝叶斯估计

• 假设：已知方差 ，对均值 进行贝叶斯估计。选择 的共轭先验分布为正态分布，即

• 似然函数：与最大似然估计相同，样本的似然函数为

                              

• 后验分布：将先验分布与似然函数结合得到后验分布：

  

  其中

                                                                                                                         ​​
• 解释：​ 是先验信息 与训练样本信息 的加权组合，其中 ​ 随着样本数 增大而减小。

性质：

后验分布：后验分布 表示观测到数据后，对均值 的不确定性逐渐减小。

渐进性：随着 增大，，后验均值 ​ 趋近于样本均值 ，体现了贝叶斯估计的渐进性，即样本信息逐渐压倒先验信息。

7、多元高斯分布的极大似然估计

（1）多元高斯分布的概率密度函数

• 定义：，其中 是均值向量， 是协方差矩阵。

• 概率密度函数：

                     

• 参数解释：

  • 均值向量 ：表示数据分布的中心位置。
  • 协方差矩阵 ：表示数据分布的形状和方向。
    • 对角线元素 表示第 个特征的方差。
    • 非对角线元素 ​ 表示第  个和第  个特征之间的协方差。

（2）似然函数

对数似然函数： 给定  个独立样本 ​，对数似然函数为：  

                                           

经过化简得到：

        

（3）求均值 μ 的最大似然估计

• 去掉与参数无关的常数项后，对数似然函数变为：

               

• 对 求导并设为 ：

                                      ​​​​​​​

• 得到均值的最大似然估计：

                                                   

（4）求协方差矩阵 Σ 的最大似然估计

• 以精度矩阵 表示协方差矩阵，化简后得到对数似然函数：

                     

• 利用矩阵求导法则，得到协方差矩阵的估计：

                            

• 最终的协方差矩阵估计为：

                                          

五、朴素贝叶斯分类器

0、朴素贝叶斯分类器 · 理论介绍

（1）基本原理

        朴素贝叶斯分类器（Naive Bayes Classifier）是一种基于贝叶斯定理的简单而有效的概率分类算法。它特别适用于文本分类、垃圾邮件过滤、情感分析等任务。尽管它被称为“朴素”，它在很多应用中表现出了出色的效果。

        朴素贝叶斯分类器利用贝叶斯定理来计算一个样本属于某个类别的概率。贝叶斯定理的基本形式为：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​      

其中：

•  是给定特征 的情况下，样本属于类别 的后验概率。
• 是类别 下特征 出现的条件概率。
• 是类别 的先验概率。
• 是特征 的边际概率。

        在朴素贝叶斯分类器中，我们的目标是通过计算后验概率 ，来决定给定特征 的样本属于哪个类别 。其中是特征组成的向量。

（2）“朴素”假设

        朴素贝叶斯之所以“朴素”，是因为它假设特征之间是条件独立的，即在给定类别的情况下，每个特征是相互独立的。换句话说，对于特征向量 ，我们假设：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        

这一假设显然是“朴素”的，因为在实际应用中特征之间往往并非独立。然而，这种假设大大简化了计算，并且在许多应用场景中，即使独立性假设不完全成立，朴素贝叶斯分类器依然能够取得不错的效果。

（3）朴素贝叶斯的不同模型

根据特征的类型（如是否为离散型或连续型），朴素贝叶斯分类器可以使用不同的概率模型：

• 高斯朴素贝叶斯（Gaussian Naive Bayes）：用于连续特征，假设特征在每个类别条件下服从正态分布。
• 多项式朴素贝叶斯（Multinomial Naive Bayes）：用于离散特征，常用于文本分类和词袋模型，假设特征（如词频）在每个类别下服从多项分布。
• 伯努利朴素贝叶斯（Bernoulli Naive Bayes）：也用于离散特征，但假设每个特征都是一个二元变量（0或1），适合在文本分类中用来表示单词的出现与否。

（4）分类过程

        给定一个待分类的样本 ，朴素贝叶斯分类器计算样本属于每个类别 的后验概率 。根据贝叶斯定理和朴素假设，有：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

其中：

•  ，类先验概率，是类别的先验概率，可以根据训练集中该类别样本占总样本的比例来估计。
•  ，类条件概率，是给定类别 时特征 的条件概率，可以从训练数据中统计得到。

朴素贝叶斯模型的参数就是  和 很多个  。模型训练过程就是计算  和 很多个的过程。

最后，朴素贝叶斯分类器将样本 分配到后验概率最大的类别：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

（5）分类过程中类先验概率的估计 

        朴素贝叶斯模型训练过程就是计算  和 的过程，如何计算先验概率 呢？我们要清楚这里的先验概率是从样本中获得的，即求每个类别在所有样本中的概率，所以符合最大似然估计和最大后验估计已知结果求先验的思想，故使用最大后验估计（最大后验估计比最大似然估计更正确）求先验概率 。 

对于二分类，为伯努利分布，选用Beta分布作为共轭先验。

对于多分类，为多项分布，选用Dirichlet分布作为共轭先验。

（6）分类过程中类条件概率的估计 

        如何计算类条件概率   呢？我们要清楚这里的类条件概率的实际物理意义，即属于某类的样本中每个特征所占的比例再乘积，显然符合最大似然估计和最大后验估计的思想，故使用最大似然估计（此处对条件概率的计算一般只取决于数据集，当然，如果有先验的话可以用最大后验估计）求条件概率 。

i、特征取值离散情况下，可以用频率来估计：

        这实际上是通过最大化似然值得到的，因为我们在假设每个观测值来自同一个分布并根据观测数据的频率来估计参数。似然值表示在给定参数下观测到当前数据的概率。

使用 Laplace 平滑后的公式如下：

其中： 是特征 ​ 的可能取值的总数。

ii、特征取值连续情况下，且在类边缘分布为高斯分布时，估计方式如下：

对于特征 在类别 下的条件概率，假设其服从高斯分布 ：

        ​​​​​​​        

可从样本中用最大似然估计来估计高斯分布的参数，估计高斯分布的参数如下：

在类别  的样本中，第   维特征的均值和方差的最大似然估计为：

1. 均值估计：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​                ​​​​​​​        

其中 是指示函数，当 时取值为 1，否则为 0。实际意义是第类样本中，第维特征值的均值。

1. 方差估计：

        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        

注意：并不是所有连续的特征都服从高斯分布。

（7）朴素贝叶斯与最大似然估计、最大后验估计的联系

i、最大似然估计中，目的是求已知实验结果  ，求参数  的最大可能值，即求。但这个值不易求，用似然函数代替  并求最大值，即求。

ii、最大后验估计中，目的仍然是求，但这里不直接使用似然函数代替，而是使用贝叶斯公式展开，即使用 来表示，再求最大值，即求 。

iii、朴素贝叶斯分类器中，目的是根据样本信息求结果，前面两者都是有了实验结果，反推模型参数。而朴素贝叶斯求的是，目的是求结果  ，样本信息是给了 ，先验也可以由样本得到，所以就可以由贝叶斯公式推出的  来 求    了，某种角度来看朴素贝叶斯与恰好与最大后验估计反了。最大后验估计是已知结果根据贝叶斯展开求前提，而朴素贝叶斯是已知过程（这里的过程是从数据集中估计出来的）来求结果。

（8）朴素贝叶斯分类器的优缺点

优点

• 简单高效：朴素贝叶斯分类器的实现和计算都非常简单，训练和预测速度都很快，适合大规模数据。
• 低数据需求：对于每个类别，只需计算每个特征的条件概率，因此在数据较少时也能有效工作。
• 表现良好：在特征之间相关性较低的应用中，朴素贝叶斯表现往往非常优异，即使特征间存在一定的依赖性，也通常可以取得较好的效果。

缺点

• 朴素假设：假设特征之间条件独立在很多场景下并不成立，会影响分类准确性。
• 数据稀疏性：如果某个类别中的特征在训练集中从未出现，其条件概率 为 ，可能导致某些类别的概率被归零。因此需要使用平滑技术（如Laplace平滑）来处理这种情况。
• 连续特征的处理：在多项式和伯努利朴素贝叶斯模型中，处理连续特征较为复杂，通常需要先进行离散化或使用其他模型（如高斯朴素贝叶斯）。

1、多项式朴素贝叶斯分类举例 （PPT上的例子）

多项式朴素贝叶斯和伯努利朴素贝叶斯几乎是一样的，只是伯努利朴素贝叶斯的特征都是二值的，计算类条件概率时只有两项，比多项式朴素贝叶斯的还要少。

2、高斯朴素贝叶斯分类器举例

六、高斯判别分析

1、高斯判别分析的基本假设

2、类别的先验分布

3、判别函数

4、二次判别分析（QDA）

5、线性判别分析（LDA）

6、特殊情况：协方差矩阵为对角阵

7、高斯判别模型的训练

8、收缩估计（Shrinking Estimation）——正则化

总结

七、⭐全文总结⭐

1、对于贝叶斯分类器

2、对于概率密度函数的参数估计

3、对于朴素贝叶斯分类器

4、对于高斯判别分析

它属于二分类连续型多特征朴素贝叶斯分类，主要思想还是朴素贝叶斯分类器，文中给出了特殊情况下高斯判别分析的变化。最后又介绍了对高斯判别分析进行正则化的方式。

5、两个辨析

（1）本文《五》朴素贝叶斯分类器和《三》贝叶斯最优分类器的区别：

他们几乎是一样的，只不过对于贝叶斯最优分类器，类先验概率和类条件概率是已知信息，而朴素贝叶斯分类器的类先验概率和类条件概率需要从数据集中估计。

（2）高斯判别分析和朴素贝叶斯分类器的联系：

高斯判别分析属于两分类的朴素贝叶斯分类，且特征都是连续的，都符合高斯分布。即高斯判别分析属于朴素贝叶斯分类的一种。