简单线性回归01

内容来源
线性回归分析导论 原书第5版 机械工业出版社

---

内容提要

简单线性回归模型

回归参数的最小二乘估计

---

简单线性回归模型

$$y={\beta }_0+{\beta }_{1}x+\epsilon$$

其中

截距 ${\beta }_0$ 与斜率 ${\beta }_1$ 为未知常数

$\epsilon$ 为随机误差项。假设随机误差项的均值为 $0$ ，且方差 ${\sigma }^2$ 未知

此外，通常假设误差是不相关的，不相关意味着一个误差的值不取决于其他误差的值

方便起见，视回归变量 $x$ 由数据分析师控制且测量误差可忽略，而视相应变量 $y$ 为随机变量。

也就是说，对于每个 $x$ 的可能值，存在一个 $y$ 的概率分布，这一分布的均值为

$$E(y|x)={\beta }_0+{\beta }_{1}x$$

方差为

$$Var(y|x)=Var({\beta }_0+{\beta }_{1}x+\epsilon )={\sigma }^2$$

---

回归参数的最小二乘估计

${\beta }_0$ 与 ${\beta }_1$ 的估计

假设有 $n$ 对数据 $(x_i,y_i)$

最小二乘准则为

$$S({\beta }_0,{\beta }_1)=\sum _{i=1}^n(y_i-{\beta }_0-{\beta }_1{x}_i{)}^2$$

${\beta }_0$ 和 ${\beta }_1$ 的最小二乘估计量分别为 ${\hat{\beta }}_0$ 和 ${\hat{\beta }}_1$ ，则

$$\begin{gathered} \frac{\partial S}{\partial {\beta }_0}{|}_{{\hat{\beta }}_0,{\hat{\beta }}_1}=-2\sum _{i=1}^n(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i)=0 \\ \frac{\partial S}{\partial {\beta }_1}{|}_{{\hat{\beta }}_0,{\hat{\beta }}_1}=-2\sum _{i=1}^n(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i)x_i=0 \end{gathered}$$

化简

$$\begin{gathered} n{\hat{\beta }}_0+{\hat{\beta }}_1\sum _{i=1}^n{x}_i=\sum _{i=1}^n{y}_i \\ {\hat{\beta }}_0\sum _{i=1}^n{x}_i+{\hat{\beta }}_1\sum _{i=1}^n{x}_i^2=\sum _{i=1}^n{y}_i{x}_i \end{gathered}$$

解得

$${\hat{\beta }}_0=\overline{y}-{\hat{\beta }}_1\overline{x}$$

以及

$${\hat{\beta }}_1=\frac{{\sum }_{i=1}^n{y}_i{x}_i-\frac{({\sum }_{i=1}^n{y}_i)({\sum }_{i=1}^n{x}_i)}{n}}{{\sum }_{i=1}^n{x}_i^2-\frac{({\sum }_{i=1}^n{x}_i{)}^2}{n}}$$

上式中的分母为 $x_i$ 的校正平方和，分子为 $x_i$ 与 $y_i$ 的校正叉积和，可以用更紧凑的记号表示为

$$S_{xx}=\sum _{i=1}^n{x}_i^2-\frac{({\sum }_{i=1}^n{x}_i{)}^2}{n}=\sum _{i=1}^n(x_i-\overline{x}{)}^2$$

$$S_{xy}=\sum _{i=1}^n{y}_i{x}_i-\frac{({\sum }_{i=1}^n{y}_i)({\sum }_{i=1}^n{x}_i)}{n}=\sum _{i=1}^n{y}_i(x_i-\overline{x})$$

即

$${\hat{\beta }}_1=\frac{S_{xy}}{S_{xx}}$$

所以简单回归分析模型拟合为 $\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_{1}x$

---

最小二乘估计量的性质

注意到，${\hat{\beta }}_0$ 与 ${\hat{\beta }}_1$ 是观测值 $y_i$ 的线性组合（注意力惊人!）

$$\begin{gathered} {\hat{\beta }}_1=\frac{S_{xy}}{S_{xx}}=\sum _{i=1}^n{c}_i{y}_i \\ {\hat{\beta }}_0=\sum _{i=1}^n(\frac{1}{n}-\overline{x}{c}_i)y_i \end{gathered}$$

其中 $c_i=(x_i-\overline{x})/S_{xx}$

最小二乘估计量 ${\hat{\beta }}_0$ 与 ${\hat{\beta }}_1$ 是模型参数 ${\beta }_0$ 与 ${\beta }_1$ 的无偏估计量

$$\begin{array}{rl}& E({\hat{\beta }}_1)=E\left(\sum _{i=1}^n{c}_i{y}_i\right)\\ & =\sum _{i=1}^n{c}_{i}E(y_i)\\ & =\sum _{i=1}^n{c}_i({\beta }_0+{\beta }_1{x}_i)\\ & ={\beta }_0\sum _{i=1}^n{c}_i+{\beta }_1\sum _{i=1}^n{c}_i{x}_i\end{array}$$

又 ${\sum }_{i=1}^n{c}_i=0$ 及 ${\sum }_{i=1}^n{c}_i{x}_i=1$ ，所以

$$E({\hat{\beta }}_1)={\beta }_1$$

同理可证

$$E({\hat{\beta }}_0)={\beta }_0$$

方差

$$\begin{array}{rl}& Var({\hat{\beta }}_1)=Var\left(\sum _{i=1}^n{c}_i{y}_i\right)\\ & =\sum _{i=1}^n{c}_i^{2}Var(y_i)\\ & ={\sigma }^2\sum _{i=1}^n{c}_i^2=\frac{{\sigma }^2}{S_{xx}}\end{array}$$

$$\begin{array}{rl}& Var({\hat{\beta }}_0)=Var(\overline{y}-{\hat{\beta }}_1\overline{x})\\ & =Var(\overline{y})+{\overline{x}}^{2}Var({\hat{\beta }}_1)-2\overline{x}Cov(\overline{y},{\hat{\beta }}_1)\end{array}$$

因为 $\overline{y}$ 的方差就是 ${\sigma }^2/n$ ，下证 $\overline{y}$ 与 ${\hat{\beta }}_1$ 之间的协方差为 $0$

$$\begin{array}{rl}& Cov(\overline{y},{\hat{\beta }}_1)\\ & =Cov(\sum \frac{y_i}{n},\sum c_j{y}_j)\\ & =\sum _i\sum _j\frac{c_i}{n}Cov(y_i,y_j)\end{array}$$

其中

$$Cov(y_i,y_j)=\{\begin{array}{ll}0& ,i\ne j\\ {\sigma }^2& ,i=j\end{array}$$

所以

$$Cov(\overline{y},{\hat{\beta }}_1)=\frac{{\sigma }^2}{n}\sum c_i=0$$

所以

$$Var({\hat{\beta }}_0)=Var(\overline{y})+{\overline{x}}^{2}Var({\hat{\beta }}_1)={\sigma }^2(\frac{1}{n}+\frac{{\overline{x}}^2}{S_{xx}})$$

最佳线性无偏估计量（BLUE）

根据高斯-马尔可夫定理，最小二乘估计量是无偏的，同时相比其他同为 $y_i$ 线性组合的无偏估计量，最小二乘估计量的方差最小。

---

最小二乘拟合的性质

所有含有截距项 ${\beta }_0$ 的回归模型其残差之和恒为零

$$\sum _{i=1}^n(y_i-{\hat{y}}_i)=\sum _{i=1}^n{e}_i=0$$

最小二乘回归直线总是穿过数据的中点 $(\overline{y},\overline{x})$

以对应回归变量值为权重的残差之和恒等于零

$$\sum _{i=1}^n{x}_i{e}_i=0$$

以对应拟合值为权重的残差之和恒等于零

$$\sum _{i=1}^n{\hat{y}}_i{e}_i=0$$