ML 系列:机器学习和深度学习的深层次总结( 20)— 离散概率分布 (Bernoulli 分布)
一、说明
离散概率分布,最早的杰出任务是贝努力,而贝努力分布是最早的离散概率模型,至今依然是重要的概率理论,在物理学的热力学、量子理论均有巨大意义。
雅各布·伯努利 (Jacob Bernoulli) 是一位杰出的数学家,来自著名的瑞士伯努利家族。他生活在 1655 年至 1705 年(50 岁)之间。他对数学的贡献包括微积分、概率论和伯努利分布的发展方面的重大进步。
二、贝努力分布
什么是伯努利分布:
- 伯努利分布是二元随机变量的概率分布函数。
- 伯努利分布是一种离散概率分布,其中伯努利随机变量只能有 0 或 1 作为结果。p 是成功的概率,1 — p 是失败的概率。伯努利分布的均值为 E[X] = p,方差为 Var[X] = p(1-p)。
- 表示仅采用两种可能结果(例如,成功或失败、正面或反面)的随机变量。
- 由单个参数 p 表示成功概率。
伯努利分布表
伯努利分布是为二进制随机变量 X 定义的,该变量可以取值 0 和 1。分布表如下:
图 1.Bernoulli 分布表
伯努利随机变量 X 的概率质量函数 (PMF) 由下式给出:
以下是公式如何简化 p 的特定值:
- 当 p = 0 时:
对于 x = 0:
对于 x = 1:
所以,分布表如图 1 所示。
2. 当 p = 1 时:
对于 x = 0:
对于 x = 1:
所以,分布表如图 1 所示。
伯努利分布的期望值和方差
对于参数为 p 的伯努利随机变量 X:
1. 期望(平均值):
伯努利随机变量的期望值 E(X) 由下式给出:
伯努利分布的期望值或均值只是 X 取值 1 的概率 p。
2. 方差:
伯努利随机变量的方差 Var(X) 由下式给出:
方差度量分布的散布,并取决于 p 和 1 — p,反映结果 0 和 1 的可变性。
三、示例:计算机失败的概率
考虑一台机器,它在运行的第一个月内出现故障的概率为 2%。这可以使用 Bernoulli 分布进行建模,其中:
- X = 1,如果计算机在第一个月内出现故障。
- X = 0 如果计算机在第一个月内没有出现故障。
机器失败的概率 p 为 0.02。
1. 概率分布函数
此伯努利分布的概率分布函数 (PDF) 为:
代入 p = 0.02:
因此,分发表为:
概率分布函数显示,机器在第一个月内没有出现故障的概率为 0.98,出现故障的概率为 0.02。
2. 数学期望(平均值)
伯努利随机变量的期望值 E(X) 由下式给出:
对于我们的示例,p = 0.02:
计算机在第一个月内出现故障的平均值或预期值为 0.02,这表明平均而言,预计有 2% 的计算机在此时间范围内出现故障。
3. 方差
伯努利随机变量的方差 Var(X) 由下式给出:
对于我们的示例,p = 0.02:
0.0196 的方差表示结果围绕平均值的分布,反映了机器是否失效的可变性。
对于 p=0.02 的伯努利分布示例,我们有以下概率质量函数 (PMF):
让我们绘制这个 PMF 来可视化分布。我们将使用 Python 和 matplotlib 库进行绘图。这是代码:
import matplotlib.pyplot as plt
import numpy as np# Define the values of x
x_values = [0, 1]# Define the probability for each value of x
p = 0.02
pmf = [p**x * (1 - p)**(1 - x) for x in x_values]# Plot the distribution
plt.bar(x_values, pmf, color='skyblue')
plt.xticks(x_values)
plt.xlabel('X')
plt.ylabel('Probability')
plt.title('Bernoulli Distribution (p=0.02)')
plt.grid(True)
plt.show()
此代码将生成一个条形图,表示 p = 0.02 的伯努利分布。
四、结论
在机器学习系列的第20讲,我们深入研究了伯努利分布,这是各种统计应用中使用的基本离散概率分布之一。继续,我们将重点转移到二项分布,探索其特性和在机器学习领域的应用。