【机器学习】线性回归 多元线性回归

【机器学习系列】

• KNN算法
  KNN算法原理简介及要点
  特征归一化的重要性及方式
• 线性回归算法
  线性回归与一元线性回归
  线性回归模型的损失函数
  多元线性回归
  多项式线性回归

V1.0

多元线性回归

多元线性回归使用多维特征向量来推算回归值，推算方法使用以下公式
$$y=w_0+w_1\ast x_1+w_2\ast x_2+...+w_n\ast x_n$$
其中$x_i$是N维特征向量第 $i$ 维的数据，$w_i$是特征向量第 $i$ 维特征的权值， $y$是该特征向量的预测值。
求解多元线性回归模型，即通过N维特征向量及其对应的标签真实值，求解多元线性公式参数，$w_0..w_n$的过程。

一元线性回归与多元线性回归

一元线性回归的2个参数$k$和$b$，其中$k$对应一元特征的权值。
多元线性回归有$w_1$-$w_n$这N个权重，分别对应特征向量的N个维度的特征值。

多元线性回归模型的误差衡量

对于单个特征向量，其误差为$y_{real}-y_{predict}$。
总体误差，使用各个特征向量投票决定，这里可以使用MSE（Mean Squared Error）方法（其他总体误差计算方法比如RMES，MAE）。
可以认为最优的模型即是将总体误差最小化时的模型，在使用MSE的情况下，即是要求解使得模型总体损失最小时的参数$w_0...w_n$。可用如下公式表示
$$\underset{w_0...w_n}{\mathrm{argmin}}\sum _{i=1}^m(y_{real}-y_{predict}{)}^2$$
将$y_{predict}$公式代入，公式中就直接包含了模型的参数$w_0...w_n$。
$$\underset{w_0...w_n}{\mathrm{argmin}}\sum _{i=1}^m(y_{real}-(w_0+w_1\ast x_1+w_2\ast x_2+...+w_n\ast x_n){)}^2$$

多元线性回归的最优解

多元线性回归的解析解（标准数学解法）

对于给定的N维训练数据及数据标签，线性回归模型的最优解及参数 $w_0...w_n$ ，可以通过以下公式得到多元线性回归的最优参数
$$W=(X^{T}X{)}^{-1}{X}^{T}Y$$

多元线性回归的解析解公式分析

在多元线性回归的解析解公式中，$X$为特征矩阵（$M\ast N$维），$Y$为特征向量的标签值（$M\ast 1$维）。
$X^T$的维度$N\ast M$维
($X^{T}X$)的维度为$N\ast N$维
$(X^{T}X{)}^{-1}$)的维度为$N\ast N$维
$(X^{T}X{)}^{-1}{X}^T$的维度为$N\ast M$维
$(X^{T}X{)}^{-1}{X}^{T}Y$的维度为$N\ast 1$维

多元线性回归的搜索解法

解析解在特征维度较大时计算较为复杂，计算量大，因此工程上并不经常采用这种方法。
scikit-learn库中对于线性回归问题，使用的是梯度下降的解法。