线性判别分析 (LDA)中目标函数的每个部分的具体说明

公式：

$$F=\frac{{\Vert w^T{\mu }_0-w^T{\mu }_1\Vert }_2^2}{w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w}=\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T({\Sigma }_0+{\Sigma }_1)w}$$

符号说明：

1. $F$：
   这是目标函数，代表我们要最大化的值。LDA 的核心目标是找到一个投影向量 $w$，使得类间距离最大化、类内散度最小化。这个函数的最大化表示最佳投影方向。

2. $w$：
   投影向量（或称权重向量），它是我们要优化的对象。这个向量定义了将高维数据投影到低维（通常是一维）时的方向。通过选择合适的 $w$，我们能够更好地区分不同的类。

3. ${\mu }_0$ 和 ${\mu }_1$：
   分别是类 0 和类 1 的均值向量。这些向量表示每个类样本的中心点或平均位置。

   • ${\mu }_0$：类 0 的样本均值（一个列向量）。
   • ${\mu }_1$：类 1 的样本均值（一个列向量）。

4. ${\Sigma }_0$ 和 ${\Sigma }_1$：
   分别是类 0 和类 1 的协方差矩阵，它们表示类内散布的情况。协方差矩阵描述了类内样本的分散性和相关性。

   • ${\Sigma }_0$：类 0 的协方差矩阵。
   • ${\Sigma }_1$：类 1 的协方差矩阵。

5. $w^T$：
   $w^T$ 是 $w$ 的转置，它是一个行向量（1×n），与列向量相乘时可以计算出标量。转置表示将列向量 $w$ 转化为行向量。

6. $w^T{\mu }_0-w^T{\mu }_1$：
   这是类 0 和类 1 的均值向量在方向 $w$ 上的投影差，表示两类中心在投影方向上的距离。通过找到最合适的 $w$，我们希望这个投影差（类间差异）尽可能大。

7. ${\Vert w^T{\mu }_0-w^T{\mu }_1\Vert }_2^2$：
   这是类 0 和类 1 均值投影差的欧氏距离的平方。它表示两个类中心在投影方向上的差异，用于度量类间散度。${\Vert \cdot \Vert }_2$ 是 L2 范数（欧氏距离）。

8. $({\mu }_0-{\mu }_1)$ 和 $({\mu }_0-{\mu }_1{)}^T$：

   • ${\mu }_0-{\mu }_1$ 是类 0 和类 1 的均值向量差，它表示两个类的中心点之间的差异。
   • $({\mu }_0-{\mu }_1{)}^T$ 是该差向量的转置，它与 $w$ 的乘积用于表示类间差异的矩阵形式。

9. $w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w$：
   这表示的是类间散度的矩阵形式。通过这个表达式，我们能够将类间的中心差异转化为矩阵运算，以方便后续的优化计算。

10. $w^T{\Sigma }_{0}w$ 和 $w^T{\Sigma }_{1}w$：
    这是类 0 和类 1 的协方差矩阵在方向 $w$ 上的投影，表示类内散度。通过找到合适的 $w$，我们希望类内散度尽可能小。

11. $w^T({\Sigma }_0+{\Sigma }_1)w$：
    这是类内散度的总和（类 0 和类 1 的协方差矩阵之和），它表示了数据在方向 $w$ 上的总散度。我们希望这个值最小，以确保同类数据尽可能聚集在一起。

总结：

• 分子部分：表示类间差异，目的是最大化两类中心在投影方向上的距离。
• 分母部分：表示类内散布，目的是最小化每类数据在投影方向上的分散性。

这个公式是线性判别分析（LDA）的优化目标函数。通过最大化该函数，我们能够找到一个最佳的投影方向 $w$，使得不同类之间的区分度最大，而类内的样本尽可能聚集。