[机器学习] 监督学习之线性回归与逻辑回归

一、监督学习概述

监督学习是利用有标记的数据进行模型训练，使模型能够对未知数据进行预测。训练数据包含输入特征（通常用 (x) 表示）和对应的输出标签（通常用 (y) 表示）。其主要任务可分为回归（预测连续值）和分类（预测离散类别）。

二、线性回归

（一）模型表示

单变量线性回归模型：$h_{\theta }(x)={\theta }_0+{\theta }_{1}x$，其中${\theta }_0$ 为截距，${\theta }_1$ 为斜率。

from sklearn.linear_model import LinearRegression
import numpy as np
import matplotlib.pyplot as plt# 生成模拟数据（这里简单地使用线性关系加一些噪声来模拟）
np.random.seed(0)
x = np.linspace(0, 10, 100).reshape(-1, 1)  # 生成100个在0到10之间均匀分布的x值，并转换为列向量
theta_0_true = 2  # 真实的截距
theta_1_true = 3  # 真实的斜率
y_true = theta_0_true + theta_1_true * x
y = y_true + np.random.normal(0, 2, size=(100, 1))  # 添加一些正态分布的噪声模拟实际观测值# 创建线性回归模型对象并拟合数据
model = LinearRegression()
model.fit(x, y)# 获取拟合的参数
theta_0_fit = model.intercept_[0]
theta_1_fit = model.coef_[0][0]# 定义预测函数（其实可以直接使用model.predict方法进行预测，这里只是为了形式统一展示）
def h_theta(x, theta_0, theta_1):"""根据拟合的参数进行预测"""return theta_0 + theta_1 * x# 使用拟合的模型进行预测
y_pred = h_theta(x, theta_0_fit, theta_1_fit)# 可视化数据和拟合的直线
plt.scatter(x, y, label='Observed Data')
plt.plot(x, y_pred, color='r', label='Fitted Line')
plt.xlabel('x')
plt.ylabel('y')
plt.title('Linear Regression')
plt.legend()
plt.show()

代码中，使用了 sklearn 库中的 LinearRegression 类来拟合线性回归模型，它内部已经实现了高效的最小二乘法计算等逻辑，通过调用 fit 方法传入输入特征 x 和目标值 y 就可以完成模型的拟合，然后可以通过 intercept_ 属性获取截距（对应 theta_0），通过 coef_ 属性获取系数（对应 theta_1）

多变量线性回归模型：$h_{\theta }(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n={\theta }^{T}x$，这里 $x=\left[\begin{array}{c}1\\ x_1\\ x_2\\ ⋮\\ x_n\end{array}\right]$, $\theta =\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_2\\ ⋮\\ {\theta }_n\end{array}\right]$

（二）损失函数

损失函数衡量了当前模型预测值与真实目标值之间的差异程度。

均方误差损失函数：$J(\theta )=\frac{1}{2m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)}{)}^2$，其中 (m) 为训练样本数量，$x^{(i)}$ 和 $y^{(i)}$ 分别是第 (i) 个训练样本的特征和标签。

def compute_loss(x, y, theta):"""计算均方误差损失函数。参数:x: 特征矩阵，形状为 (m, n+1)，m是样本数量，n是特征数量（包含常数项1对应的列）y: 目标值向量，形状为 (m, 1)theta: 参数向量，形状为 (n+1, 1)返回:loss: 计算得到的均方误差损失值"""m = x.shape[0]predictions = np.dot(x, theta)loss = np.sum((predictions - y) ** 2) / (2 * m)return loss

（三）梯度下降算法

梯度下降算法，在每次迭代中，根据当前参数下预测值与真实值的误差来计算梯度，进而按照学习率alpha更新参数theta，同时记录每次迭代的损失值到loss_history列表中，这样可以后续查看损失函数的收敛情况。

参数更新公式：${\theta }_j:={\theta }_j-\alpha \frac{\partial J(\theta )}{\partial {\theta }_j}$

对于单变量线性回归：
$\frac{\partial J(\theta )}{\partial {\theta }_0}=\frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})$
$\frac{\partial J(\theta )}{\partial {\theta }_1}=\frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x^{(i)}$

对于多变量线性回归：
$\frac{\partial J(\theta )}{\partial {\theta }_j}=\frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$，$j=0,1,\cdots ,n$，其中 $\alpha$为学习率，控制每次参数更新的步长。

定义梯度下降训练函数（多变量）

def gradient_descent(x, y, theta, alpha, num_iters):"""使用梯度下降算法来更新线性回归的参数theta。参数:x: 特征矩阵，形状为 (m, n+1)，m是样本数量，n是特征数量（包含常数项1对应的列）y: 目标值向量，形状为 (m, 1)theta: 参数向量，初始值，形状为 (n+1, 1)alpha: 学习率，控制每次更新的步长num_iters: 迭代次数返回:theta: 经过多次迭代更新后的参数向量loss_history: 每次迭代对应的损失值历史记录，用于查看训练过程损失变化情况"""m = x.shape[0]loss_history = []for _ in range(num_iters):error = np.dot(x, theta) - ygradient = np.dot(x.T, error) / mtheta -= alpha * gradientloss = compute_loss(x, y, theta)loss_history.append(loss)return theta, loss_history

实践：
以下是使用Python实践多变量线性回归模型（通过梯度下降法训练参数θ）的完整示例代码，包含了数据生成、模型训练以及预测的过程。

导入所需库

import numpy as np
import matplotlib.pyplot as plt

生成模拟数据（可替换为真实数据）

# 设置随机种子，保证结果可复现
np.random.seed(0)
# 样本数量
m = 100
# 特征数量（不包含截距项对应的特征，这里设为2个特征）
n = 2
# 生成特征矩阵，添加一列全为1的列作为截距项对应的特征
x = np.column_stack((np.ones(m), np.random.rand(m, n)))
# 真实的参数（用于生成模拟的目标值，实际中是未知的）
true_theta = np.array([[2], [3], [4]])
# 生成目标值，添加一些随机噪声模拟真实情况
y = np.dot(x, true_theta) + np.random.randn(m, 1) * 0.5

初始化参数并进行训练

# 初始化theta参数，初始化为全0向量（形状要与特征数量对应，包含截距项对应的参数）
theta_initial = np.zeros((n + 1, 1))
# 学习率
alpha = 0.01
# 迭代次数
num_iters = 1000
# 执行梯度下降训练
theta_trained, loss_history = gradient_descent(x, y, theta_initial, alpha, num_iters)

可视化损失函数随迭代次数的变化情况（可选，用于查看训练效果）

plt.plot(loss_history)
plt.xlabel('Iterations')
plt.ylabel('Loss')
plt.title('Loss Function Convergence')
plt.show()

迭代次数达到一个值后， 预测值与真实目标值之间的差异程度出现拐点。后面的迭代没有什么成效了。

使用训练好的模型进行预测（示例预测新的样本，这里可根据实际需求调整）

# 生成新的样本数据（这里简单示例，可按需修改）
new_x = np.array([[1, 0.5, 0.6]])
# 进行预测
prediction = np.dot(new_x, theta_trained)
print("预测结果:", prediction)

预测结果: [[5.78208147]]

在上述代码中：

1. 首先通过numpy库生成了模拟的特征矩阵x和对应的目标值y，模拟了一个多变量线性回归的数据场景，其中真实的参数true_theta是我们自己设定的，但实际应用中是未知的，需要通过训练去估计。
2. 接着定义了计算损失函数（均方误差）的函数compute_loss，它衡量了当前模型预测值与真实目标值之间的差异程度，是评估模型好坏以及指导梯度下降训练的重要指标。
3. 然后定义了gradient_descent函数，它实现了梯度下降算法，在每次迭代中，根据当前参数下预测值与真实值的误差来计算梯度，进而按照学习率alpha更新参数theta，同时记录每次迭代的损失值到loss_history列表中，这样可以后续查看损失函数的收敛情况。
4. 之后初始化了参数theta，设定了学习率和迭代次数，调用gradient_descent函数进行训练，得到训练好的参数theta_trained以及损失值的变化记录loss_history，并通过matplotlib库可视化了损失值随迭代次数的变化，直观查看训练的收敛效果。
5. 最后，使用训练好的模型对新的样本数据进行预测，展示了模型的应用过程。

三、逻辑回归

（一）模型表示

逻辑回归用于二分类问题，模型假设函数：$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$，其输出值表示样本属于正类的概率。

（二）损失函数

对数损失函数：$J(\theta )=-\frac{1}{m}{\sum }_{i=1}^m[y^{(i)}\ln (h_{\theta }(x^{(i)}))+(1-y^{(i)})\ln (1-h_{\theta }(x^{(i)}))]$

（三）梯度下降与参数更新

参数更新同样使用梯度下降算法，其梯度计算为：
$\frac{\partial J(\theta )}{\partial {\theta }_j}=\frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$)，然后按照 ${\theta }_j:={\theta }_j-\alpha \frac{\partial J(\theta )}{\partial {\theta }_j}$ 更新参数。

四、模型评估指标

（一）回归问题评估指标

• 均方误差（MSE）：$MSE=\frac{1}{m}{\sum }_{i=1}^m(y_{pred}^{(i)}-y^{(i)}{)}^2$
• 均方根误差（RMSE）：$RMSE=\sqrt{\frac{1}{m}{\sum }_{i=1}^m(y_{pred}^{(i)}-y^{(i)}{)}^2}$
• 平均绝对误差（MAE）：$MAE=\frac{1}{m}{\sum }_{i=1}^m|y_{pred}^{(i)}-y^{(i)}|$
• (R^{2}) 分数：$R^2=1-\frac{{\sum }_{i=1}^m(y_{pred}^{(i)}-y^{(i)}{)}^2}{{\sum }_{i=1}^m(y^{(i)}-\bar{y}{)}^2}$，其中 $\bar{y}$是 $y^{(i)}$ 的均值。

（二）分类问题评估指标

• 准确率（Accuracy）：$Accuracy=\frac{TP+TN}{TP+TN+FP+FN}$，其中 $TP$（True Positive）为真阳性，$TN$（True Negative）为真阴性，(FP)（False Positive）为假阳性，(FN)（False Negative）为假阴性。
• 精确率（Precision）：$Precision=\frac{TP}{TP+FP}$
• 召回率（Recall）：$Recall=\frac{TP}{TP+FN}$
• (F1) 分数：$F1=\frac{2\times Precision\times Recall}{Precision+Recall}$
• ROC 曲线与 AUC 值：ROC 曲线以假阳性率（$FPR=\frac{FP}{TN+FP}$）为横轴，真阳性率（$TPR=\frac{TP}{TP+FN}$）为纵轴绘制。AUC（Area Under the Curve）值是 ROC 曲线下的面积，AUC 值越大，模型分类性能越好。

五、过拟合与欠拟合

• 过拟合：模型过于复杂，在训练数据上表现很好，但在测试数据上表现不佳，泛化能力差，可能是对训练数据中的噪声和细节过度拟合。
• 欠拟合：模型过于简单，无法捕捉数据中的模式和规律，在训练数据上表现就不理想。

六、正则化

• L1 正则化：$J(\theta )=J_0(\theta )+\lambda {\sum }_{j=1}^n|{\theta }_j|$，其中$J_0(\theta )$ 是原始损失函数，$\lambda$ 为正则化参数。L1 正则化可导致部分参数为 0，实现特征选择，使模型稀疏。
• L2 正则化（岭回归）：$J(\theta )=J_0(\theta )+\lambda {\sum }_{j=1}^n{\theta }_j^2$。L2 正则化能防止过拟合，使参数值相对较小，模型更平滑。

正则化后的梯度下降更新公式，对于 L1 正则化：
${\theta }_j:={\theta }_j-\alpha \left(\frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}+\frac{\lambda }{m}\text{sgn}({\theta }_j)\right)$，$\text{sgn}({\theta }_j)$ 是 ${\theta }_j$ 的符号函数。

对于 L2 正则化：
${\theta }_j:={\theta }_j-\alpha \left(\frac{1}{m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}+\frac{2\lambda }{m}{\theta }_j\right)$