当前位置：首页 > news >正文

LoRA微调大模型 - 从主元 pivot 的角度看矩阵的秩

news 2024/11/1 0:06:09

LoRA微调大模型 - 从主元 pivot 的角度看矩阵的秩

flyfish

LoRA微调大模型 - 从方程组的角度看矩阵的秩

主元（pivot ）是经过一系列初等行变换将矩阵化为行阶梯形（row echelon form）或行最简形（reduced row echelon form）后，每行中第一个非零元素。

每个矩阵中的主元是什么

例1：简单的行阶梯形矩阵

考虑以下矩阵 $A$ ：

$\begin{pmatrix} 1 & 2 & 3 \\ 0 & 4 & 5 \\ 0 & 0 & 6 \end{pmatrix}$

在这个矩阵中：

第一行的第一个非零元素是 1。
第二行的第一个非零元素是 4。
第三行的第一个非零元素是 6。

因此，主元分别是 1, 4, 和 6。

例2：包含全零行的矩阵

考虑以下矩阵 $B$ ：

$\begin{pmatrix} 1 & 2 & 3 \\ 0 & 0 & 0 \\ 0 & 5 & 6 \end{pmatrix}$

在这个矩阵中：

第一行的第一个非零元素是 1。
第二行是全零行，没有主元。
第三行的第一个非零元素是 5。

因此，主元分别是 1 和 5。注意，第二行没有主元，因为它是全零行。

例3：更复杂的矩阵

考虑以下矩阵 $C$ ：

$\begin{pmatrix} 0 & 2 & 3 \\ 1 & 4 & 5 \\ 0 & 0 & 6 \end{pmatrix}$

为了将其化为行阶梯形，我们首先交换第一行和第二行：

$\begin{pmatrix} 1 & 4 & 5 \\ 0 & 2 & 3 \\ 0 & 0 & 6 \end{pmatrix}$

在这个矩阵中：

第一行的第一个非零元素是 1。
第二行的第一个非零元素是 2。
第三行的第一个非零元素是 6。

因此，主元分别是 1, 2, 和 6。

例4：需要进一步变换的矩阵

考虑以下矩阵 $D$ ：

$\begin{pmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \\ 3 & 6 & 9 \end{pmatrix}$

为了将其化为行阶梯形，我们进行以下变换：

将第二行减去第一行的 2 倍：
$R_2 \leftarrow R_2 - 2 \cdot R_1$
$\begin{pmatrix} 1 & 2 & 3 \\ 0 & 0 & 0 \\ 3 & 6 & 9 \end{pmatrix}$
将第三行减去第一行的 3 倍：
$R_3 \leftarrow R_3 - 3 \cdot R_1$
$\begin{pmatrix} 1 & 2 & 3 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{pmatrix}$

在这个矩阵中：

第一行的第一个非零元素是 1。
第二行和第三行都是全零行，没有主元。

因此，主元只有 1。

例5：已经处于简化行阶梯形的矩阵

考虑以下矩阵 $E$ ：

$\begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix}$

在这个矩阵中：

第一行的第一个非零元素是 1。
第二行的第一个非零元素是 1。
第三行的第一个非零元素是 1。

因此，主元分别是 1, 1, 和 1。

引用Gilbert Strang《Introduction to Linear Algebra》的说法

数字 $m$ 和 $n$ 给出了矩阵的大小，但不一定给出线性系统的真实大小。像 $0 = 0$ 这样的方程不应该被计算在内。如果在矩阵 $A$ 中有两行完全相同，那么在消元过程中第二行将会消失。同样，如果第三行是第一行和第二行的组合，那么在三角矩阵 $U$ 以及行最简形 $R$ 中，第三行将变为全零行。我们不希望计算零行。矩阵 $A$ 的真实大小由它的秩给出。

秩的定义：矩阵 $A$ 的秩是主元的数量。这个数量用 $r$ 表示。

这个定义是从计算的角度给出的，我想对秩 $r$ 再多说一些。最终的矩阵 $R$ 将有 $r$ 个非零行。从一个 $3\times4$ 且秩 $r = 2$ 的例子开始：有四列的矩阵 $A=\begin{bmatrix}1&1&2&4\\1&2&2&5\\1&3&2&6\end{bmatrix}$ ，它的行最简形为 $R=\begin{bmatrix}1&0&2&3\\0&1&0&1\\0&0&0&0\end{bmatrix}$ 。