当前位置：首页 > news >正文

丹摩征文活动 | 带你玩转开源模型，一起来部署SD3+ComfyUI文生图模型

news 2024/11/8 14:56:21

在这里插入图片描述

文章目录

- 1 背景
- - 1.1 SD3背景介绍
  - 1.2 ComfyUI背景介绍
  - 1.3 体验感
- 2 部署流程
- 3 登录实例
- 4 部署ComfyUI
- 5 部署SD3
- 6 生成图像

1 背景

1.1 SD3背景介绍

Stable Diffusion 3是Stability AI推出的一款先进的文本到图像的开源模型，SD3以其图像质量、文本内容生成、复杂提示理解和资源效率方面的显著提升而备受期待。

SD3 Medium版本包含20亿参数，体积小，适合在消费级PC和笔记本电脑上运行，使得普通用户也能轻松部署在自己的电脑上使用。

SD3在图像生成方面表现出色，能够生成细节逼真、色彩鲜艳、光照自然的图像，并能灵活适应多种风格，如动漫、厚涂等，无需微调，仅通过提示词即可生成。

SD3能够理解复杂的自然语言提示，包括空间推理、构图元素、姿势动作、风格描述等，展现出比Midjourney更准确的文本效果。

1.2 ComfyUI背景介绍

ComfyUI是一款基于节点工作流的Stable Diffusion Web UI，支持SD3模型的运行。

用户可以从GitHub下载并安装ComfyUI。ComfyUI提供了一个用户友好的界面，使得操作SD3模型变得更加简单直观，并且支持图像的批量生成和编辑，让用户能够轻松实现高效的批处理操作。

1.3 体验感

作为开发者，使用SD3和ComfyUI的体验是极具吸引力的。

SD3的更精确的图像控制和增强的元素融合能力，使得开发者可以通过提示词精确控制画面的细节和风格。

ComfyUI的操作步骤简单明了，从启动ComfyUI、加载模型、输入提示词、调整参数到生成图像，整个过程流畅且高效，开发者还可以利用ComfyUI进行批处理操作，大大提高了工作效率。

在实际部署过程中，开发者可以感受到SD3和ComfyUI带来的便利，下载并安装ComfyUI后，可以直接从Hugging Face下载SD3模型，并将其放置在ComfyUI的models文件夹下，然后通过ComfyUI启动器加载模型并开始生成图像，并且还可以根据需要调整采样器、步数、CFG等参数，以优化生成图像的质量和风格。

2 部署流程

进入控制台-GPU云实例，点击创建实例：

在这里插入图片描述

进入创建页面后，首先在实例配置中选择付费类型，一般短期需求可以选择按量付费或者包日，长期需求可以选择包月套餐；

其次选择GPU数量和需求的GPU型号，首次创建实例推荐选择：
- 按量付费
- GPU数量1
- NVIDIA-GeForc-RTX-4090：该配置为60GB内存，24GB的显存（本次测试的LLaMA3.1 8B 版本至少需要GPU显存16G）
接下来配置数据硬盘的大小，每个实例默认附带了50GB的数据硬盘，FLUX.1模型较大，建议扩容至150GB。

在这里插入图片描述

继续选择安装的镜像，平台提供了一些基础镜像供快速启动，镜像中安装了对应的基础环境和框架，可通过勾选来筛选框架，这里筛选PyTorch，选择PyTorch 2.4.0。

在这里插入图片描述

为保证安全登录，创建密钥对，输入自定义的名称，然后选择自动创建并将创建好的私钥保存的自己电脑中，以便后续本地连接使用。

在这里插入图片描述

创建好密钥对后，选择刚刚创建好的密钥对，并点击立即创建，等待一段时间后即可启动成功！

3 登录实例

（1）等待实例创建成功，在 GPU云实例中查看实例信息。

在这里插入图片描述

（2）平台提供了在线访问实例的 JupyterLab 入口，可以直接登录实例：

在这里插入图片描述

（3）登录后一般会在 /root/workspace 目录下，服务器各个路径具体意义如下：

/：系统盘，替换镜像，重置系统时系统盘数据都会重置。
/root/workspace：数据盘，支持扩容，保存镜像时此处数据不会重置。
/root/shared-storage：共享文件存储，可跨实例存储。
SSH登录：

SSH只是登录方式，工具可以是系统自带终端、Xshell、MobaXterm等。

SSH登录一般需要以下 4 个信息：
- 用户名：root
- 远程主机域名或IP（这里使用host域名）：实例页面获取
- 端口号：实例页面获取
- 登录密码或密钥（这里使用密钥）：前面创建实例时保存到本地的密钥
在实例页面获取主机host和端口号：

复制结果类似如下：

ssh -p 31729 root@gpu-s277r6fyqd.ssh.damodel.com

其中，gpu-s277r6fyqd.ssh.damodel.com 即主机host，31729 为端口号。

终端登录方式详见SSH登录与密钥对。

4 部署ComfyUI

在终端中执行以下命令克隆ComfyUI代码：

# github官方代码仓库
git clone https://github.com/comfyanonymous/ComfyUI.git
# gitCode-github加速计划代码仓库
git clone https://gitcode.com/gh_mirrors/co/ComfyUI.git

在这里插入图片描述

终端进入/root/workspace/ComfyUI目录，执行以下命令，安装ComfyUI需要的依赖：

cd ComfyUI/
pip install -r requirements.txt --ignore-installed

执行以下命令，启动ComfyUI：

python main.py --listen

在这里插入图片描述

看到服务成功启动，说明ComfyUI部署成功！

5 部署SD3

（1）从HF-mirror下载SD3模型：

pip install -U huggingface_hub#设置环境变量
export HF_ENDPOINT=https://hf-mirror.com
#下载模型
huggingface-cli download --token hf_BbwgWIQLalWXUdHgvDGPDZpnLxo --resume-download stabilityai/stable-diffusion-3-medium --local-dir .