当前位置：首页 > news >正文

《机器学习》之贝叶斯（Bayes）算法

news 2025/1/10 11:48:31

一、前言

二、贝叶斯算法原理解析

1、贝叶斯公式

2、朴素贝叶斯算法

3、计算步骤

4、例题：

（1）、计算先验概率

（2）、计算条件概率

（3）、计算后验概率

（4）、比较后验概率选出答案

三、贝叶斯算法在机器学习中的应用

1、API接口

2、代码演示

3、结果展示

4、贝叶斯算法的优缺点

（1）、优点

（2）、缺点

四、总结

一、前言

贝叶斯算法起源于18世纪英国数学家托马斯·贝叶斯（Thomas Bayes）提出的贝叶斯定理，经过几个世纪的发展，逐渐成为统计学和机器学习中的重要工具。其核心原理是基于条件概率，通过先验知识和新观测数据相结合，计算后验概率，从而实现对事件概率的动态更新。

常见的贝叶斯算法包括朴素贝叶斯分类器、贝叶斯网络、贝叶斯优化和贝叶斯滤波等。朴素贝叶斯分类器广泛应用于文本分类和垃圾邮件过滤；贝叶斯网络用于建模变量间的复杂概率关系；贝叶斯优化用于高效优化黑箱函数；贝叶斯滤波则在信号处理和机器人定位中发挥重要作用。

贝叶斯算法的用途广泛，涵盖了从自然语言处理、推荐系统到医学诊断和金融预测等多个领域。其优势在于能够灵活结合先验知识和数据，但同时也面临计算复杂度高和先验选择主观性等挑战。随着计算能力的提升和算法的优化，贝叶斯方法在现代数据科学中继续发挥着重要作用。

二、贝叶斯算法原理解析

贝叶斯算法的核心思想是通过不断更新先验概率，结合新的数据，得到更准确的后验概率。这一特性使其在处理不确定性和噪声数据时表现出色。常见的贝叶斯算法包括朴素贝叶斯分类器、贝叶斯网络、贝叶斯优化和贝叶斯滤波等。

1、贝叶斯公式

其中：

P(A∣B)是在事件B发生的条件下事件A发生的概率，称为后验概率。它反映了我们在考虑新信息后对某个事件或类别的信念或认知的变化。
- 例子：在垃圾邮件过滤中，P(垃圾邮件∣包含“免费”一词)表示在邮件包含“免费”一词的条件下，该邮件是垃圾邮件的概率。
P(B∣A)是在事件A发生的条件下事件B发生的概率，称为似然。
- 例子：在垃圾邮件过滤中，P(包含“免费”一词∣垃圾邮件) 表示在邮件是垃圾邮件的条件下，邮件中包含“免费”一词的概率。
P(A) 是事件A发生的先验概率。先验概率通常是我们对某个事件或类别的初始认知或假设。
- 例子：先验概率 P(垃圾邮件) 表示在没有分析邮件内容之前，某封邮件是垃圾邮件的初始概率（例如，根据历史数据，垃圾邮件占总邮件的20%）。
P(B) 是事件B发生的边际概率。
- 例子：在垃圾邮件过滤中，P(包含“免费”一词)表示所有邮件中包含“免费”一词的总概率，无论邮件是否是垃圾邮件。

2、朴素贝叶斯算法

朴素贝叶斯分类器（Naive Bayes Classifier） 是一种基于贝叶斯定理的简单概率分类算法，广泛应用于文本分类、垃圾邮件过滤、情感分析等任务。它的“朴素”体现在假设所有特征之间相互独立，尽管这一假设在现实中往往不成立，但朴素贝叶斯分类器在许多实际应用中表现优异，尤其是在高维数据（如文本数据）中。

由于朴素贝叶斯假设特征之间相互独立，似然 P(B∣A)可以分解为：

P(B∣A)=P(x1∣A)⋅P(x2∣A)⋅…⋅P(xn∣A)

其中 x1,x2,…,xnx1,x2,…,xn 是输入特征的各个维度。

3、计算步骤

计算先验概率：基于训练数据，计算每个类别的先验概率 P(A)。
计算似然：对于每个特征，计算在给定类别下的条件概率 P(xi∣A)。
计算后验概率：对于新的输入样本，利用贝叶斯定理计算每个类别的后验概率。
选择最大概率类别：将后验概率最大的类别作为预测结果。

4、例题：

假设我们有一个简单的二分类问题，数据集如下表所示。目标是利用朴素贝叶斯分类器预测一个新样本的类别。

编号	特征1（颜色）	特征2（根蒂）	类别
1	青绿	蜷缩	好瓜
2	乌黑	蜷缩	好瓜
3	青绿	硬挺	坏瓜
4	浅白	蜷缩	坏瓜
5	乌黑	稍蜷	好瓜
6	青绿	稍蜷	好瓜
7	浅白	硬挺	坏瓜
8	乌黑	硬挺	坏瓜

现在有一个新样本：颜色=青绿，根蒂=蜷缩，请预测其类别。

解题步骤

（1）、计算先验概率

P(好瓜)=4/8=0.5
P(坏瓜)=4/8=0.5

（2）、计算条件概率

对于每个特征，计算在给定类别下的条件概率。

特征1：颜色

P(颜色=青绿∣好瓜)=2/4=0.5
P(颜色=青绿∣坏瓜)=1/4=0.25

特征2：根蒂

P(根蒂=蜷缩∣好瓜)=2/4=0.5
P(根蒂=蜷缩∣坏瓜)=1/4=0.25

（3）、计算后验概率

P(好瓜|颜色=青绿,根蒂=蜷缩) =P(好瓜)*P(颜色=青绿∣好瓜)*P(根蒂=蜷缩∣好瓜)/P(颜色=青绿,根蒂=蜷缩)

=0.5 * 0.5 * 0.5 = 0.125/P(颜色=青绿,根蒂=蜷缩)

P(坏瓜|颜色=青绿,根蒂=蜷缩) =P(坏瓜)*P(颜色=青绿∣坏瓜)*P(根蒂=蜷缩∣坏瓜)/P(颜色=青绿,根蒂=蜷缩)

=0.5 * 0.25 * 0.25 = 0.03125/P(颜色=青绿,根蒂=蜷缩)

（4）、比较后验概率选出答案

因为0.125 > 0.03125，且分母相同

所以颜色=青绿，根蒂=蜷缩时预测为好瓜。

三、贝叶斯算法在机器学习中的应用

以多项式朴素贝叶斯为例

1、API接口

from sklearn.naive_bayes import MultinomialNB
MultinomialNB(alpha=1.0, fit_prior=True, class_prior=None)

参数名	类型	默认值	说明
`alpha`	浮点数	`1.0`	平滑参数（拉普拉斯平滑/Lidstone平滑），避免零概率问题。
`fit_prior`	布尔值	`True`	是否从数据中学习类别的先验概率。若为 `False`，则使用均匀分布。
`class_prior`	数组或列表	`None`	手动指定类别的先验概率。若为 `None`，则从数据中学习。

2、代码演示

以sklearn自带的手写数字数据集为例

import matplotlib.pyplot as plt
from sklearn.metrics import confusion_matrix
from sklearn import metrics# 可视化混淆矩阵
def cm_plot(y, yp):cm = confusion_matrix(y, yp)  # 计算混淆矩阵plt.matshow(cm, cmap=plt.cm.Blues)  # 使用蓝色调绘制混淆矩阵plt.colorbar()  # 添加颜色条for x in range(len(cm)):for y in range(len(cm)):# 在每个单元格中标注数值plt.annotate(cm[x, y], xy=(x, y), horizontalalignment='center', verticalalignment='center')plt.ylabel('True label')  # 设置y轴标签plt.xlabel('Predicted label')  # 设置x轴标签return plt
# 数据预处理
data = load_digits()
x = data.data
y = data.target
x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.2,random_state=0)
# 创建贝叶斯分类器
cf = MultinomialNB()
# 训练
cf.fit(x_train,y_train)# 自测
pr1 = cf.predict(x_train)
# 绘制混淆矩阵
cm_plot(y_train,pr1).show()
# 预测
pr2 = cf.predict(x_test)
# 绘制混淆矩阵
cm_plot(y_test,pr2).show()
print('准确率：',cf.score(x_test,y_test))
print(metrics.classification_report(y_test,pr2))