【Stable Diffusion - Ai】小白入门必看(涂鸦、涂鸦重绘、局部重绘和重绘蒙版篇)!真材实料!不卖课!!!
【Stable Diffusion - Ai】小白入门必看(涂鸦、涂鸦重绘、局部重绘和重绘蒙版篇)!真材实料!不卖课!!!
在上一篇 小白入门必看(图生图篇)中我们详细的介绍了文生图和图生图不同的两个参数,缩放模式和重绘幅度。而在本篇中我们继续来介绍下在图生图的基础上用涂鸦的方式来二次重绘我们的图片,和利用涂鸦方式生成蒙版来完成人物和背景的替换。
1. 涂鸦
如果我们想要在空白的画板中使用我们天马行空的想象力,我们可以在涂鸦模块中上传一张白底图当做画板,再调整笔刷颜色和大小,随意的在画板中描述一下大概的形状,例如:森林、河流
然后我们在正向提示框中添加相关提示词:forest,river,highres,8K,realistic, 再加点高质量画面提示词,反向提示框中也可以加入对应的画面提示词。
选择三角尺对标好图片宽高尺寸:512 x 768,重绘幅度我们选择0.6-1做个实验对比,然后通过抽卡方式获取最接近我们想法的图片
从生成的图片中可以看到涂鸦的重绘幅度在0.7以下的画面效果并不理想,在0.75-1画面效果得到写实的优化,但河流的形状也会随着重绘幅度的增大而变得与原图不一,我们可以多在0.8-0.85区间内通过抽卡方式获得比较完美的图片,后续搭配写实环境类Lora让画面得到进一步提升!
2. 涂鸦重绘
对比于涂鸦功能,涂鸦重绘有什么区别呢?涂鸦重绘功能则是在已有的图像基础上,根据用户提供的提示词对整个图像或指定蒙版区域进行重绘。适用于需要在已有图像基础上进行修改或生成新图像的场景,需要用户提供提示词,AI会根据提示词对整个图像或指定蒙版区域进行重绘,生成新的图像。下面我们介绍涂鸦重绘的一些参数:
蒙版边缘模糊度
- 这个参数是调整蒙版边缘的羽化程度,如果说生成图片后,看到蒙版区域边缘与原图有明显拼接感,可以调整蒙版边缘模糊度来让边缘过渡的更加自然
蒙版透明度
- 这个参数是代表我们所绘制的蒙版区域内容,这个值越高代表所绘制的蒙版内容透明度越高,如果设置100则AI所绘制的蒙版内容为完全透明基本上看不到了,设置50则蒙版内容为半透明状态
蒙版模式
- 重绘蒙版内容:重绘我们所涂抹区域的内容,其他内容保持不变
- 重绘非蒙版内容:除了所涂抹区域的内容,其他内容都需要发生改变
蒙版区域内容处理
- 填充:表示在铺噪点的时候,略微参考原来图片的像素,生成的图片色调会跟原来的有一定关系,所以我们如果想要让图片发生比较大的改变,重绘幅度需要调整到0.8以上
- 原图:在原图的基础上去铺噪点,当我们重绘幅度越小的时候,跟原图的相似度越高;当我们重绘幅度越大的时候,就跟原图的相似度越低
- 潜空间噪声:将遮挡的区域内容全部去掉,重新在空白内容上铺噪点,代表我们一点也不参考原图,生成的图片与原图的相似度就很低了,需要把重绘幅度调高0.8以上,因为是按照空白来刻画的,重绘幅度偏低的话,内容会不合理
- 空白潜空间:跟潜空间噪声的效果一样,但空白潜空间可能更注重于生成与原图风格更为一致的图像内容,尤其是在需要保持图像整体风格统一性的情况下,也是需要把重绘幅度调高0.8以上
重绘区域(重绘尺寸:512 x 512)
- 整张图片:如果我们对于某块区域进行重绘,那么SD会根据重绘尺寸给整张图片分配像素,那么对于重绘区域分到的像素就会比较少,那么重绘区域所呈现的效果会比较模糊崩坏,如果选择高分辨率的尺寸的话,会解决这部分问题,但对于电脑的性能有很高要求;而且优点是对于重绘区域的融合度会比较高,符合整体图片的内容
- 仅蒙版区域:如果我们对于某块区域进行重绘,那么SD会根据重绘尺寸给重绘区域分配全部的像素,所绘制的内容效果会比较清晰合理,但缺点就是跟整体图片的融合度不是很高,需要我们反复的抽卡
仅蒙版区域下边缘预留像素
- 当该值为0:蒙版以外的任何内容,都不会影响重绘的效果
- 当该值非0:生成图片时,需要考虑蒙版以外预留像素的内容,综合生成画面;当重绘区域选择「仅蒙版区域」时,蒙版区域下边缘预留像素的数值,需要根据蒙版四周的画面来设置一个适当的范围数值
接下来我们试一下涂鸦重绘的具体应用:
-
更改涂抹区域衣服的颜色
选择好笔刷大小和颜色,对黑色衬衣进行涂抹,涂抹完成后我尝试了多种参数组合搭配得出对于局部服饰换衣比较搭配融合的参数配置:
大模型:林鹤-人像光影摄影极限写实真实感大模型_V2.6.1
正向提示词:highres,realistic,(8K:0.9), (自行添加搭配,可增加点衣服类提示词)
反向提示词:NSFW,blurry,low quality,lowres,normal quality,worstquality,out of focus, (自行添加搭配)
缩放模式:仅调整大小
蒙版边缘模糊度:3
蒙版透明度:0
蒙版模式:重绘蒙版内容
蒙版区域内容处理:原版
重绘区域:仅蒙版区域
仅蒙版区域下边缘预留像素:80
采样方法:Euler a Automatic (自行切换搭配)
迭代步数:32
CFG:7
重绘幅度:0.5 (越高的重绘幅度不太好) -
新增涂鸦物品
选择好笔刷大小和颜色,对人物头部涂鸦个蝴蝶结样子,选择重绘区域为仅蒙版,在提示词中对其引导为蝴蝶结头饰:
大模型:林鹤-人像光影摄影极限写实真实感大模型_V2.6.1
正向提示词:bow headwear,highres,realistic,(8K:0.9),
反向提示词:NSFW,blurry,low quality,lowres,normal quality,worstquality,out of focus,
缩放模式:仅调整大小
蒙版边缘模糊度:2
蒙版透明度:0
蒙版模式:重绘蒙版内容
蒙版区域内容处理:原版
重绘区域:仅蒙版区域
仅蒙版区域下边缘预留像素:32
采样方法:Euler a Automatic (自行切换搭配)
迭代步数:32
CFG:7
重绘幅度:0.4 (越高的重绘幅度不太好)以上参数只是我试过最接近的效果,可根据调整主要的几个参数来对涂抹区域内容进行优化,如果边缘比较模糊看不清,就调低蒙版边缘模糊度,增加仅蒙版区域下边缘预留像素,让它更好的借鉴周围的元素点进行融合;对于涂抹区域比较局限小的,选择仅蒙版区域比较好,否则选择整张图片来生成的话,分配到的像素点很少,会出现看不见或很模糊状态;所以涂抹区域比较大复杂可选择重绘区域为整张图片,使其更加合理融合;如果发现涂抹生成的内容不符合预期,除了抽卡外,我们可以在提示词中加入想要的内容来引导SD根据涂抹区域进行生成。
3. 局部重绘
局部重绘就是涂抹增加一个蒙版区域,它跟涂鸦和涂鸦重绘不一样的是,它并不会识别涂抹的蒙版颜色,所有颜色都只是一个蒙版色,它只会识别涂抹绘制蒙版的一个像素区域,依赖于提示词的引导来生成绘制的内容,在换脸换装换场景的情况下经常使用到。
-
更换脸部
在提示词中我们增加脸部的一些表情提示词来生成新的脸部表情,对于人脸特写的图片,可用重绘区域为整张图片,但对于全身像图片,建议选择重绘区域为仅蒙版,这样蒙版区域会分到大部分像素点,而不会造成脸部模糊崩坏;涂抹脸部时,可增加涂抹脸部的边缘区域,让脸部内容与蒙版边缘更好的融合,涂抹区域太集中于脸部的话,会出现明显割裂感。
-
更换服饰
在提示中添加各种不同的服饰提示词,涂抹需要更换的服饰蒙版区域,对于像靠近脖子肢体区域可连带涂抹,避免重绘时出现肤色不一致,生成内容被截断的割裂感,换脸和换衣的参数可按默认的,只是增加正向和反向的提示词,而对于写实类的真人需搭配写实类的大模型才行,否则画面人物风格有很大差别。
-
更换场景
在提示中添加各种不同的场景提示词,涂抹需要更换的背景区域中,对于背景重绘幅度比较高,背景细节会丰富很多,如果想要背景中不要出现某个物品或一个人的,可在反向提示词中添加对应的提示词;局部重绘的应用场景很多,上面所讲的几个是最常用的场景,局部重绘比较依赖提示词的引导,完美的提示词能生成出心目中所想的画面效果。
4. 重绘蒙版
对于上传重绘蒙版这个功能也是图生图中使用率最高的,特别对于电商行业来说,只需上传产品图制作产品蒙版,就可把产品生成不同的场景展示,或把产品生成穿在模特身上展示;对于已有的模特产品图,可更换模特姿势、脸部、服饰和背景等,这个功能所用的蒙版可用 PS 制作蒙版图或使用 Inpaint Anything 扩展插件 来AI识别并选中生成蒙版图。
4-1. 安装 Inpaint Anything 扩展插件
Inpaint Anything 地址:https://github.com/Uminosachi/sd-webui-inpaint-anything.git
inpaint-anything模型sam_hq_h+l:inpaint-anything模型sam_hq_h+l
下一步可按照图示来完成蒙版图片的制作,关于图中所说的模型,由于扩展插件中不自带模型,而且下载模型是速度比较慢,建议直接去模型官网中去寻找对应的模型,然后本地下载后放入到Inpaint Anything的model目录中:项目存储盘:\sd-webui-aki-v4.9\extensions\sd-webui-inpaint-anything\models
4-2. 更换模特人物和背景,保留衣服细节
正向提示词:1girl,smile,high ponytail,light_blush,
反向提示词:画面质量、人物肢体崩坏等提示词,这些自己加上去就可以
蒙版模式:重绘非蒙版内容
其他参数:默认或自行调节都可以
4-3. 更换衣服风格,保留人物和背景
正向提示词:printed pattern blouse,
反向提示词:画面质量、人物肢体崩坏等提示词,这些自己加上去就可以
蒙版模式:重绘蒙版内容
其他参数:默认或自行调节都可以
好了,本篇主要介绍了涂鸦、涂鸦重绘、局部重绘和重绘蒙版的参数介绍和使用区别,各类功能之间的使用,复杂就是在于对参数搭配的各种调整才能达到自己理想的画面效果,后期在此基础上,我们还可以去搭配各种大模型和Lora来进一步对自己生成的图片进行精细优化;对比与更复杂的一些操控人物动作姿态和控制人物脸部特征像现实真人,就需要我们结合ControlNet来搭配使用了,下一篇我们会详细介绍搭配ControlNet的各类预处理器会是什么效果。
sd-webui-aki启动器和所需环境下载:
https://pan.quark.cn/s/2c832199b09b#/list/share/1d7c0615a2de45b7961768446e82034c-sd101webui101aki
SD推理模型分享:https://pan.quark.cn/s/d523667b73bb#/list/share/11720a23c0ea417e96bf92456110cd80-SD%E6%A8%A1%E5%9E%8B%E6%95%B4%E7%90%86
大模型、Lora模型和预处理器模型下载:
Liblib.Art:Liblib.Art 官网
Tusi.Art:Tusi.Art 官网
【Stable Diffusion - Ai】系列:
小白入门必看(前期准备篇) !真材实料!不卖课!!!
小白入门必看(图生图篇)!真材实料!不卖课!!!
小白入门必看(涂鸦、涂鸦重绘、局部重绘和重绘蒙版篇)!真材实料!不卖课!!!