当前位置：首页 > news >正文

llama-factory部署微调方法(wsl-Ubuntu Windows)

news 2025/2/25 14:38:38

llama-factory项目GitHub地址：GitHub - hiyouga/LLaMA-Factory: Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)

wsl-Ubuntu：

1.获取项目

git clone https://github.com/hiyouga/LLaMA-Factory.gitcd LLaMA-Factory/

2.安装环境

# 创建一个环境
conda create -n llama-f python==3.10
# 激活环境 conda activate不行的话就用source activate
conda activate llama-f

安装包：

pip install -e ".[torch,metrics]"

可用的额外依赖项：torch、torch-npu、metrics、deepspeed、liger-kernel、bitsandbytes、hqq、eetq、gptq、awq、aqlm、vllm、galore、apollo、badam、adam-mini、qwen、minicpm_v、modelscope、openmind、swanlab、quality

官方推荐的各个版本：

解决包冲突

冲突：

解决：

pip install --no-deps -e .

验证：

llamafactory-cli version

出现版本号就是成功了

(选用)额外报错：缺少Rust和Cargo

报错：

Installing build dependencies ... doneGetting requirements to build wheel ... donePreparing metadata (pyproject.toml) ... errorerror: subprocess-exited-with-error× Preparing metadata (pyproject.toml) did not run successfully.│ exit code: 1╰─> [6 lines of output]Cargo, the Rust package manager, is not installed or is not on PATH.This package requires Rust and Cargo to compile extensions. Install it throughthe system's package manager or via https://rustup.rs/Checking for Rust toolchain....[end of output]note: This error originates from a subprocess, and is likely not a problem with pip.

解决：

Rust官方提供了一个非常方便的安装脚本，可以通过以下命令安装Rust和Cargo：

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

运行后，脚本会提示你选择安装选项。默认情况下，直接按回车键选择默认安装即可

配置环境变量

source $HOME/.cargo/env

如果想永久生效，可以将以下内容添加到你的Shell配置文件

nano ~/.bashrc 然后到最后一行添加：

export PATH="$HOME/.cargo/bin:$PATH"

用命令使配置生效

source ~/.bashrc

验证：

rustc --version
cargo --version

3. 启动

环境配置完后就可以通过命令启动webui界面，并通过网页访问

llamafactory-cli webui

参数参考

(可以加参数启动：CUDA_VISIBLE_DEVICES指定显卡，GRADIO_SHARE启动一个共享链接，这样可以让其他人通过互联网访问你的Gradio界面，GRADIO_SERVER_PORT指定端口号)

CUDA_VISIBLE_DEVICES=7 GRADIO_SHARE=1 GRADIO_SERVER_PORT=7878 llamafactory-cli webui

然后在网页输入：

http://localhost:7860/

就进去了，可以进行微调操作

Windows：

前面的clone和环境以及 pip install -e ".[torch,metrics]"这些都是一样的

Windows缺少Rust和Cargo：

打开 PowerShell 或 命令提示符（以管理员身份运行）。
运行以下命令下载并安装 rustup：
```
winget install --id Rustlang.Rustup
```
如果 winget 不可用（例如在较旧的 Windows 版本中），可以使用以下命令：
```
curl -sSf https://sh.rustup.rs | sh
```
如果提示没有 curl，可以先安装 curl：
```
winget install curl.curl
```
安装过程中，会提示你选择安装选项。直接按回车键选择默认安装即可