大语言模型训练方式探索(基于llma3模型)
文章目录
- 前言
- 一、基于代码解读数据划分与模型变换
- 1、参数添加
- 2、验证集划分方法
- 3、Trainer初始化参数改动
- 二、基于代码添加评估方法模块
- 1、训练评估与保存
- 2、验证评估与保存
- 三、基于代码添加resume方法
- 四、基于代码使用torchrun模式训练
- 五、基于代码使用wandb训练
- 六、基于代码使用deepspeed训练
- 1、deepspeed理解
- 2、zero配置文件
- 1、zero2配置文件与解读
- 2、zero3配置文件与解读
- 3、zero2与zero3的区别
- 1. zero2与zero3差异
- 2. zero中的auto配置配置说明
- 3. zero3特有配置参数
- 4. zero2与zero3内存管理
- 5、小结
- 3、deepspeed使用细节
- 1、单机单卡与单机多卡
- 2、deepspeed与huggingface使用zero参数优先级
- 4、deepspeed训练命令
- 1、deepspeed的sh脚本训练
- 1、deepspeed的sh脚本训练
- 2、完整大模型deepspeed的sh脚本训练
- 2、deepspeed的vscode框架训练方法
- 3、zero3训练探索
前言
前面已经构建了大语言模型代码，本篇文章在此基础上探索不同模块功能，包含数据划分加工处理、评估方法、resume训练、torchrun训练、wandb使用方法以及deepspeed训练方法。
一、基于代码解读数据划分与模型变换
假如我们想划分验证集，huggingface已有方式可以调用。我将直接给出代码，至于详细可参考我的huggingface教程专栏。
1、参数添加
我们使用test_size参数划分我们读取数据比列，如下：
@dataclass
class DataTrainingArguments:test_size: Optional[Union[