ChatGLM 微调复现
GPU 2080Ti
文章目录
- 开源仓库
- 复现细节
- 报错解决
开源仓库
- ChatGLM-6B
- ChatGLM2-6B
- ChatGLM3-6B
复现细节
- 模型文件下载：第五篇-ChatGLM2-6B|ChatGLM3-6B模型下载
- 安装依赖：
pip install datasets rouge_chinese nltk transformers[torch] sentencepiece cpm_kernels jieba - Linux下sh文件执行权限不够，该怎么做：
chmod u+x *.sh对当前目录下的file.sh文件的所有者增加可执行权限。 - 在
/ptuning目录下新建子目录output为模型输出目录。 - DeepSpeed配置
- deepspeed + p-tuning v2 微调：Chatglm-6B+Deepspeed+PTuningv2 多卡高效微调
- chatglm2 的 deepspeed 多卡微调（ptuning）
- ChatGLM-6B微调实践与问题汇总（fine-tune+p-tuning+知识遗忘解决尝试）
报错解决
torchrun: error: unrecognized arguments: --nproc-per-node=1，修改--nproc-per-node=$NUM_GPUS为--nproc_per_node=$NUM_GPUS。- deepspeed使用zero3 + offload报错:AttributeError: ‘DeepSpeedCPUAdam‘ object has no attribute ‘ds_opt_adam，在执行代码前加上
DS_SKIP_CUDA_CHECK=1 ./ds_train_finetune.sh - TypeError: deepspeed_init() got an unexpected keyword argument ‘resume_from_checkpoint’，降级安装
pip install transformers==4.29.2 ImportError: cannot import name 'default_hp_search_backend' from 'transformers.integrations'，降级安装pip install transformers==4.29.2TypeError: __init__() got an unexpected keyword argument 'use_auth_token'，降级安装pip install datasets=2.19.1
可以参考的另一个项目，但一直提示显存不够用，不知道该怎么调。