LoRA：大型语言模型（LLMs）的低秩适应；低秩调整、矩阵的低秩与高秩

目录

LoRA：大型语言模型（LLMs）的低秩适应

一、LoRA的基本原理

二、LoRA的举例说明

三、LoRA的优势

低秩调整、矩阵的低秩与高秩

一、低秩调整（LoRA）

二、矩阵的低秩

三、矩阵的高秩

LoRA：大型语言模型（LLMs）的低秩适应

LoRA（Low-Rank Adaptation of LLMs），即大型语言模型（LLMs）的低秩适应，是一种高效的微调技术。它通过向模型中添加少量可训练参数（以低秩矩阵的形式），同时保持原始模型参数不变，实现了对LLM的快速定制化。以下是对LoRA的详细举例说明：