【更新v3】Clothing Adjuster Lora 衣物增减调节器 LoRA

【更新v3】Clothing Adjuster Lora 衣物增减调节器 LoRA

【更新v3】Clothing Adjuster Lora 衣物增减调节器 LoRA_Qpipi
【更新v3】Clothing Adjuster Lora 衣物增减调节器 LoRA
此内容为免费资源,请登录后查看
0积分
网盘密匙:Qpipi2023
允许图像商用
不允许出售模型
不允许生成图像服务费
许可证:CreativeML Open RAIL++-M
🎀包含版本🆕v3、v2、v1
⚠️注意任选一个新版本即可,安装方法请看文章内介绍
免费资源

欢迎大家使用Clothing +/- Adjuster 衣物增/减调节 LoRA。这是一个调节所绘制对象衣物多少的功能性LoRA。通过将LoRA权重从-1.0调节至1.0,可以实现绘制对象衣物的逐步减少。

本模型在生成竖图时效果最好。如果你喜欢我的工作,欢迎在ko-fi上为我买杯咖啡

图片[1]_【更新v3】Clothing Adjuster Lora 衣物增减调节器 LoRA_Qpipi

本模型受青龙大佬所介绍的第一种方法“复印学习法”启发。我进行了一些改进以实现多张图情况下的批量训练。具体的步骤如下:

步骤一:挑选N组不同人物的状态A与状态B对比图片,并形成状态A图像训练集与状态B图像训练集。保证相同人物的状态A与状态B两张图片的文件名相同。

步骤二:对状态A训练集添加txt标签,每个图片只打一个可以区分不同人物的特殊词汇标签。比如有10个人物,那就给每个人物从jinitaimei1至jinitaimei10分配各自的标签。然后将状态A训练集的所有标签复制粘贴进状态B图像训练集中。

步骤三:选择与训练集画风相近的底模C,使用状态A图像训练集进行Lora训练直至模型过拟合,输入人物N的对应标签后,只能生成人物N的状态A照片。

步骤四:将训练得到的过拟合LoRA模型以1.0的比例融合进底模C中(更新:经进一步测试,勾选上same to strength效果会更好),然后用状态B图像训练集基于新底模进行Lora训练。该训练过程不一定要训练至严重过拟合,可以选择LoRA过程文件进行AI绘图测试,只要能通过调节权重,实现状态A至状态B的过渡即可。(更新:经进一步测试,甜蜜点大概在每张图片400在800步范围内)

步骤五:如果训练的LoRA所涉及场景较复杂,在高权重下会出现过拟合的情况。有两种改良的建议:一是进行LoRA分层调节,降低LoRA中与A/B状态切换无关的层数的权重;二是压缩LoRA的维度,比如从64压缩至4。

效果演示

v1版 例:

<lora:ClothingAdjuster:-1>, fashion glamour portrait of a pretty girl, fashion fluffy cropped hair, looking at viewer, full body, graceful lying posture, solo, low key, dark light, masterpiece, best quality, outdoors
Negative prompt: thin, (worst quality, low quality, bad_pictures, negative_hand-neg:1.2)
Size: 512x960, Seed: 2428610969, Model: darkSushiMixMix_colorful, Steps: 20, Script: X/Y/Z plot, X Type: Prompt S/R, Version: v1.2.1, Sampler: DPM++ 2M Karras, CFG scale: 7, Clip skip: 2, Model hash: 969673ad74, Hires upscale: 2, Hires upscaler: Latent (bicubic antialiased), ClothingAdjuster: 1>", Denoising strength: 0.55

v2版,细节更加丰富 例:

<lora:ClothingAdjuster2:-1>, portrait of a Japanese traditional girl, fashion fluffy cropped hair, looking at viewer, full body, graceful standing posture, solo, low key, dark light, masterpiece, best quality, outdoors
Negative prompt: thin, (worst quality, low quality, bad_pictures, negative_hand-neg:1.2)
Size: 512x1024, Seed: 3949311464, Model: darkSushiMixMix_225D, Steps: 20, Script: X/Y/Z plot, X Type: Prompt S/R, Version: v1.2.1, Sampler: DPM++ 2M Karras, CFG scale: 7, Clip skip: 2, Model hash: cca17b08da, Hires upscale: 2, Hires upscaler: Latent (bicubic antialiased), ClothingAdjuster2: 1>", Denoising strength: 0.55

v3版,更细致的步骤 例:

<lora:ClothingAdjuster3:1>, (dark shot:1.1), epic realistic, portrait of halo, blue eyes, tartan scarf, white hair by atey ghailan, by greg rutkowski, by greg tocchini, by james gilleard, by joe fenton, by kaethe butcher, gradient yellow, black, brown and magenta color scheme, grunge aesthetic!!! graffiti tag wall background, art by greg rutkowski and artgerm, soft cinematic light, adobe lightroom, photolab, hdr, intricate, highly detailed, (depth of field:1.4), faded, (neutral colors:1.2), (hdr:1.4), (muted colors:1.2), hyperdetailed, (artstation:1.4), cinematic, warm lights, dramatic light, (intricate details:1.1), complex background, (rutkowski:0.66), (teal and orange:0.4)
Negative prompt: (nsfw, worst quality, low quality, bad_pictures, negative_hand-neg:1.2)
Steps: 27, Size: 512x832, Seed: 2130713539, Model: MoonMixFilmGrain2, Script: X/Y/Z plot, X Type: Prompt S/R, Version: v1.2.1, Sampler: DPM++ 2M Karras, CFG scale: 7, Clip skip: 2, Model hash: fe54b5d04d, Hires steps: 21, Hires upscale: 2, Hires upscaler: R-ESRGAN 4x+, ClothingAdjuster3: 1", "ClothingAdjuster3: -1, Denoising strength: 0.5

如何制作过程gif

SD 文生图界面下方”脚本”的 “XYZ plot” 里有个“提示词搜索/替换”的选项。可以使用这个功能,以固定间隔从-1 到 1,改变lora模型使用权重。然后SD就可以依次同一提示词下、lora权重渐变的一系列图像。得到这些图像后,可使用ffmpeg工具包或者其他 gif 制作工具,将这些图像制作成 gif 动图。

建议使用controlnet中的openpose功能来固定人物姿态。如果你想进一步固定背景,则需要使用inpaint功能。

⭐ 如果你创作出了好作品,欢迎分享它。如果您觉得不错请给我一个赞,在社区分享作品吧!期待你的评论!

演示使用大模型

安装说明

下载SD绘图工具

希望你喜欢使用这个AI模型,就像我们创造它一样!如果您有任何问题或建议,请在评论区告诉我们。

使用Qpipi读图提示功能,获取图片TAG Prompt提示

Stable Diffusion AI绘图软件常见问题解答

AI绘画新人必备工具指南

你想要什么SD绘画模型?请在Qpipi社区或者评论留言告诉我们!

🎨享受精美的AI绘图乐趣!

© 版权声明
THE END
喜欢就支持一下吧!
点赞7 分享
评论 共1条

请登录后发表评论

社区动态Fun