线性判别分析 (LDA)中目标函数变换中”令$S_b w = \lambda(\mu_0 - \mu_1)$“，为什么可以这么写

在变换推导过程中，有一步说明“令$S_{b}w=\lambda ({\mu }_0-{\mu }_1)$”，这是在从广义特征值问题 $S_{b}w=\lambda S_{w}w$ 推导公式的过程中出现的。这一步可以写成这样的原因与类间散度矩阵 $S_b$ 的定义和矩阵的性质有关。

背景：

在之前的推导中，类间散度矩阵 $S_b$ 被定义为：
$$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$$

其中：

• ${\mu }_0$ 和 ${\mu }_1$ 是两类的均值向量。
• 这个矩阵 $S_b$ 的定义是基于两个类的均值差的外积，这个定义表示了类间的差异。

推导步骤：

1. 广义特征值问题：
   在广义特征值问题中，我们有：
   $$S_{b}w=\lambda S_{w}w$$

2. 类间散度矩阵的代入：
   将 $S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$ 代入到方程中：
   $$({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w=\lambda S_{w}w$$

3. 简化右侧：
   我们接下来要简化方程左侧。假设投影向量 $w$ 与均值差 ${\mu }_0-{\mu }_1$ 同方向，即：
   $$w=k({\mu }_0-{\mu }_1)$$

   这表示投影向量 $w$ 可以通过 ${\mu }_0-{\mu }_1$ 来表示，因为最优的投影方向应该在类间差异的方向上。因此，$({\mu }_0-{\mu }_1{)}^{T}w$ 是一个标量，可以写为 $k$，于是左侧的矩阵乘法简化为：
   $$({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w=({\mu }_0-{\mu }_1)k$$

4. 得到形式 $S_{b}w=\lambda ({\mu }_0-{\mu }_1)$：
   通过假设 $w$ 和 ${\mu }_0-{\mu }_1$ 同方向，我们可以将等式的右侧简化为 $\lambda ({\mu }_0-{\mu }_1)$，因此得到：
   $$S_{b}w=\lambda ({\mu }_0-{\mu }_1)$$

为什么可以这么写：

1. 类间散度矩阵的性质：
   类间散度矩阵 $S_b$ 是由均值差向量 ${\mu }_0-{\mu }_1$ 构成的矩阵。这意味着，当 $w$ 在均值差方向上时（即 $w$ 是 ${\mu }_0-{\mu }_1$ 的线性组合），矩阵乘法 $S_{b}w$ 的结果仍然是均值差向量的倍数，因此我们可以写成 $\lambda ({\mu }_0-{\mu }_1)$。

2. 投影方向的假设：
   在 LDA 的推导过程中，最优投影方向 $w$ 通常是在类间均值差的方向上。这是因为类间均值差的方向是最能够区分两个类的方向，因此我们假设 $w$ 和 ${\mu }_0-{\mu }_1$ 同方向，可以让问题变得更加简单，最终得到形式为 $S_{b}w=\lambda ({\mu }_0-{\mu }_1)$。

3. 外积矩阵的作用：
   类间散度矩阵 $S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$ 是一个外积矩阵，这个矩阵的作用是将任意向量投影到均值差向量 ${\mu }_0-{\mu }_1$ 的方向上。因此，当 $w$ 与 ${\mu }_0-{\mu }_1$ 同方向时，矩阵乘法的结果就会是 $({\mu }_0-{\mu }_1)$ 的倍数。

总结：

公式 $S_{b}w=\lambda ({\mu }_0-{\mu }_1)$ 是基于类间散度矩阵 $S_b$ 的定义和 $w$ 与均值差 ${\mu }_0-{\mu }_1$ 同方向的假设得到的。类间散度矩阵反映的是均值差的方向，因此当投影向量 $w$ 沿着均值差方向时，矩阵 $S_b$ 的作用就是将 $w$ 转化为均值差向量的倍数。