【更新】SDXL – VAE,XL-VAE-C图像编解码优化器

【更新】SDXL – VAE,XL-VAE-C图像编解码优化器

【更新】SDXL - VAE,XL-VAE-C图像编解码优化器_Qpipi
【更新】SDXL – VAE,XL-VAE-C图像编解码优化器
此内容为免费资源,请登录后查看
0积分
网盘密匙:Qpipi2023
允许图像商用
不允许出售模型
不允许生成图像服务费
许可证:CreativeML Open RAIL++-M
🎀包含版本🆕SDXL_VAE、XL_VAE_F1
⚠️注意任选一个新版本即可,安装方法请看文章内介绍
🔑授权许可🆓creativeml-openrail-m
免费资源

两个VAE版本:SDXL_VAE 和 XL_VAE_C 系列 都是当前 SDXL 大模型搭配最多的优化器。

一般情况使用 SDXL_VAE 即可。

您可以将这个微调的 SDXL – VAE 解码器集成到您现有的工作流程中,方法是在 diffusersvaeStableDiffusionPipeline

from diffusers.models import AutoencoderKL
from diffusers import StableDiffusionPipeline

model = "stabilityai/your-stable-diffusion-model"
vae = AutoencoderKL.from_pretrained("stabilityai/sdxl-vae")
pipe = StableDiffusionPipeline.from_pretrained(model, vae=vae)

SDXL 是一种潜在扩散模型,其中扩散在预训练的 自编码器的学习(和固定)潜在空间。 虽然大部分语义组合是由潜在扩散模型完成的, 我们可以通过提高自动编码器的质量来改善生成图像中的局部高频细节。

图片[1]_SDXL - VAE,XL-VAE-F1图像编解码优化器

为此,我们以更大的批量(256 对 9)训练了用于原始 Stable Diffusion 的相同自动编码器架构 此外,还使用指数移动平均线 (EMA) 跟踪权重。 生成的自动编码器在所有评估的重建指标中都优于原始模型,请参见下表。

SDXL-VAE vs original kl-f8 VAE vs f8-ft-MSE

COCO 2017 (256×256, val, 5000 images)

ModelrFIDPSNRSSIMPSIMLinkComments
SDXL-VAE4.4224.7 +/- 3.90.73 +/- 0.130.88 +/- 0.27https://huggingface.co/stabilityai/sdxl-vae/blob/main/sdxl_vae.safetensorsas used in SDXL
original4.9923.4 +/- 3.80.69 +/- 0.141.01 +/- 0.28https://ommer-lab.com/files/latent-diffusion/kl-f8.zipas used in SD
ft-MSE4.7024.5 +/- 3.70.71 +/- 0.130.92 +/- 0.27https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckptresumed with EMA from ft-EMA, emphasis on MSE (rec. loss = MSE + 0.1 * LPIPS), smoother outputs

AI绘图常用工具

希望你喜欢使用这个AI模型,就像我们创造它一样!如果您有任何问题或建议,请在评论区告诉我们。

使用Qpipi读图提示功能,获取图片TAG Prompt提示

Stable Diffusion AI绘图软件常见问题解答

AI绘画新人必备工具指南

你想要什么SD绘画模型?请在Qpipi社区或者评论留言告诉我们!

🎨享受精美的AI绘图乐趣!

© 版权声明
THE END
喜欢就支持一下吧!
点赞11 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容

社区动态Fun