多元正态分布的参数估计1

内容来源

应用多元统计分析 北京大学出版社 高惠璇编著

---

$p$ 元正态总体 $X\sim N_p(\mu ,\Sigma )$

$$X_i=(x_{i1},\cdots ,x_{ip}{)}^{\prime }$$

是总体的简单随机样本，此时观测数据阵

$$X=\left[\begin{array}{ccc}{x}_{11}& \cdots & x_{1p}\\ ⋮& & ⋮\\ x_{n1}& \cdots & x_{np}\end{array}\right]$$

是一个随机阵

数字特征

样本均值向量

$$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i=({\overline{x}}_1,\cdots ,{\overline{x}}_p{)}^{\prime }=\frac{1}{n}{X}^{\prime }{1}_n$$

其中

$${\overline{x}}_i=\frac{1}{n}\sum _{\alpha =1}^n{x}_{\alpha i}$$

样本离差阵（又称交叉乘积阵）

$$A=\sum _{\alpha =1}^n(X_{\alpha }-\overline{X})(X_{\alpha }-\overline{X}{)}^{\prime }=X^{\prime }X-n\overline{X}{\overline{X}}^{\prime }=(a_{ij}{)}_{p\times p}$$

其中

$$a_{ij}=\sum _{\alpha =1}^n(x_{\alpha i}-{\overline{x}}_i)(x_{\alpha j}-{\overline{x}}_j)$$

样本协方差阵

$$S=\frac{1}{n-1}A$$

样本相关阵

$$R=(r_{ij}{)}_{p\times p}$$

其中

$$r_{ij}=\frac{a_{ij}}{\sqrt{a_{ii}}\sqrt{a_{jj}}}$$

$\mu ,\Sigma$ 的最大似然估计

把随机数据阵拉直后形成的 $np$ 维长向量 $Vec(X^{\prime })$ 的联合密度函数看成 $\mu ,\Sigma$ 的函数

称为样本的似然函数

$$\begin{array}{rl}L(\mu ,\Sigma )& =\prod _{\alpha =1}^n\frac{1}{(2\pi {)}^{p/2}|\Sigma {|}^{1/2}}\exp \left[-\frac{1}{2}(x_{\alpha }-\mu {)}^{\prime }{\Sigma }^{-1}(x_{\alpha }-\mu )\right]\\ & =\frac{1}{(2\pi {)}^{np/2}|\Sigma {|}^{n/2}}\exp \left[-\frac{1}{2}\sum _{\alpha =1}^n(x_{\alpha }-\mu {)}^{\prime }{\Sigma }^{-1}(x_{\alpha }-\mu )\right]\\ & =\frac{1}{(2\pi {)}^{np/2}|\Sigma {|}^{n/2}}\exp \left[-\frac{1}{2}\sum _{\alpha =1}^n\text{tr}((x_{\alpha }-\mu {)}^{\prime }{\Sigma }^{-1}(x_{\alpha }-\mu ))\right]\\ & =\frac{1}{(2\pi {)}^{np/2}|\Sigma {|}^{n/2}}\exp \left[-\frac{1}{2}\sum _{\alpha =1}^n\text{tr}({\Sigma }^{-1}(x_{\alpha }-\mu )(x_{\alpha }-\mu {)}^{\prime })\right]\\ & =\frac{1}{(2\pi {)}^{np/2}|\Sigma {|}^{n/2}}\exp \left[\text{tr}\left(-\frac{1}{2}{\Sigma }^{-1}\sum _{\alpha =1}^n(x_{\alpha }-\mu )(x_{\alpha }-\mu {)}^{\prime }\right)\right]\end{array}$$

正定矩阵迹的有关性质

设 $B$ 为 $p$ 阶正定矩阵，则

$$\text{tr}B-\ln |B|⩾p$$

且等号成立的充要条件是 $B=I_p$

$\ln L(\mu ,\Sigma )$

$$\begin{array}{rl}\ln L(\mu ,\Sigma )=& -\frac{np}{2}\ln 2\pi -\frac{n}{2}\ln |\Sigma |\\ & -\frac{1}{2}\text{tr}\left[{\Sigma }^{-1}\sum _{\alpha =1}^n(x_{\alpha }-\mu )(x_{\alpha }-\mu {)}^{\prime }\right]\end{array}$$

其中

$$\begin{array}{rl}& \sum _{\alpha =1}^n(x_{\alpha }-\mu )(x_{\alpha }-\mu {)}^{\prime }\\ & =\sum _{\alpha =1}^n(x_{\alpha }-\overline{X}+\overline{X}-\mu )(x_{\alpha }-\overline{X}+\overline{X}-\mu {)}^{\prime }\\ & =\sum _{\alpha =1}^n(x_{\alpha }-\overline{X})(x_{\alpha }-\overline{X}{)}^{\prime }+n(\overline{X}-\mu )(\overline{X}-\mu {)}^{\prime }\\ & =A+n(\overline{X}-\mu )(\overline{X}-\mu {)}^{\prime }\end{array}$$

$$\begin{array}{rl}\ln L(\mu ,\Sigma )& =C-\frac{1}{2}\text{tr}\left[{\Sigma }^{-1}A+n{\Sigma }^{-1}(\overline{X}-\mu )(\overline{X}-\mu {)}^{\prime }\right]\\ & =C-\frac{1}{2}\text{tr}({\Sigma }^{-1}A)-\frac{n}{2}(\overline{X}-\mu {)}^{\prime }{\Sigma }^{-1}(\overline{X}-\mu )\\ & ⩽C-\frac{1}{2}\text{tr}({\Sigma }^{-1}A)\end{array}$$

仅当 $\mu =\overline{X}$ 时等号成立，即对于固定的 $\Sigma$，有

$$\ln L(\overline{X},\Sigma )=\underset{\mu }{\max }\ln L(\mu ,\Sigma )$$

$\ln L(\overline{X},\Sigma )$

$$\begin{array}{rl}\ln L(\overline{X},\Sigma )& =-\frac{np}{2}\ln 2\pi -\frac{n}{2}\ln |\Sigma |-\frac{1}{2}\text{tr}({\Sigma }^{-1}A)\\ & =C-\frac{n}{2}\left[\ln |\Sigma |+\text{tr}\left({\Sigma }^{-1}\frac{A}{n}\right)\right]\\ & =C-\frac{n}{2}\left[\text{tr}\left({\Sigma }^{-1}\frac{A}{n}\right)-\ln \left|{\Sigma }^{-1}\frac{A}{n}\right|+\ln \left|\frac{A}{n}\right|\right]\\ & ⩽C-\frac{np}{2}-\frac{n}{2}\ln \left|\frac{A}{n}\right|\end{array}$$

根据上面迹的有关性质，仅当 $\Sigma =\frac{A}{n}$ 等号成立

故最大似然估计为

$$\hat{\mu }=\overline{X},\hat{\Sigma }=\frac{1}{n}A$$