comfyui文生图过程

一、生图的过程

加载大模型，clip set last layer（设置CLIP的最后一层），vae，lora --》提示词+空白画板(latent) --》取样器（控制去噪）–》 VAE DECODE（变分自编码器去进行解码） --》保存图片

latent和sampler都是在潜空间里完成，经过VAE解码之后潜空间数据就能变成我们的图像格式

二、各步骤作用

1. 加载大模型、VAE、LoRA：

   • 大模型：加载用于生成图像的基础模型，负责图像生成的核心算法。
   • VAE（变分自编码器）：负责将潜在空间表示解码为高质量图像，提高生成的细节和清晰度。
   • LoRA（低秩适应）：用于特定风格或特征的微调，允许模型在特定任务或风格上表现更好。
   • 设置CLIP的最后一层 ： 可以控制用于生成图像的文本特征的细节和范围。

2. 提示词 + 空白画板（latent）：

   • 提示词：将用户提供的文本描述转化为潜在空间向量，指导生成图像的内容和风格。
   • 空白画板（latent）：初始潜在空间表示，通常是随机噪声，作为生成过程的起点。

3. 取样器（控制去噪）：

   • 采样器：控制图像生成的步骤，通过逐步去噪将随机噪声转化为清晰的图像。
   • 去噪过程：逐步减少噪声，细化图像细节，确保生成结果符合提示词的描述。

4. VAE Decode（变分自编码器解码）：

   • 解码过程：将经过采样器处理的潜在表示转换为最终图像。
   • 细节增强：通过解码提高图像的细节和质量，使之更接近自然图像。

5. 保存图片：

   • 输出图像：将生成的图像保存到指定位置，供用户查看和使用。

三、视频讲解

b站视频

https://www.bilibili.com/video/BV1f4sCe6Eej/?spm_id_from=333.1365.list.card_archive.click&vd_source=f7ba66eceb00e4805d1897131c92dd15