付费资源
5积分
网盘密匙:Qpipi
允许生成图像/视频商用
允许再次训练
不允许转售AI模型
不允许生成计算服务费
许可证:CreativeML Open RAIL-M
🎀包含版本🆕SDXL_VAE、XL_VAE_F1
⚠️注意任选一个新版本即可,安装方法请看文章内介绍
【更新】SDXL_VAE 图像编解码优化器

【更新】SDXL_VAE 图像编解码优化器

两个VAE版本:SDXL-VAE 和 XL_VAE_C 系列 都是当前 SDXL 大模型搭配最多的优化器。

一般情况使用 SDXL_VAE 即可。

您可以将这个微调的 SDXL VAE 解码器集成到您现有的工作流程中,方法是在 diffusersvaeStableDiffusionPipeline

from diffusers.models import AutoencoderKL
from diffusers import StableDiffusionPipeline

model = "stabilityai/your-stable-diffusion-model"
vae = AutoencoderKL.from_pretrained("stabilityai/sdxl-vae")
pipe = StableDiffusionPipeline.from_pretrained(model, vae=vae)

SDXL 是一种潜在扩散模型,其中扩散在预训练的 自编码器的学习(和固定)潜在空间。 虽然大部分语义组合是由潜在扩散模型完成的, 我们可以通过提高自动编码器的质量来改善生成图像中的局部高频细节。

图片[1]_SDXL - VAE,XL-VAE-F1图像编解码优化器

为此,我们以更大的批量(256 对 9)训练了用于原始 Stable Diffusion 的相同自动编码器架构 此外,还使用指数移动平均线 (EMA) 跟踪权重。 生成的自动编码器在所有评估的重建指标中都优于原始模型,请参见下表。

SDXL-VAE vs original kl-f8 VAE vs f8-ft-MSE

COCO 2017 (256×256, val, 5000 images)

ModelrFIDPSNRSSIMPSIMLinkComments
SDXL-VAE4.4224.7 +/- 3.90.73 +/- 0.130.88 +/- 0.27https://huggingface.co/stabilityai/sdxl-vae/blob/main/sdxl_vae.safetensorsas used in SDXL
original4.9923.4 +/- 3.80.69 +/- 0.141.01 +/- 0.28https://ommer-lab.com/files/latent-diffusion/kl-f8.zipas used in SD
ft-MSE4.7024.5 +/- 3.70.71 +/- 0.130.92 +/- 0.27https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckptresumed with EMA from ft-EMA, emphasis on MSE (rec. loss = MSE + 0.1 * LPIPS), smoother outputs

AI绘图常用工具

💡如有问题或建议,🥳请在社区评论告诉我们。🎨享受精彩的AI绘画乐趣!

使用Qpipi读图提示功能,获取图片TAG Prompt提示 | Stable Diffusion AI绘图软件常见问题解答 | AI绘画新人必备工具指南

© 版权声明
THE END
❤️ 内容制作不易,请点赞、收藏、分享支持作者!👍
点赞11 分享
【更新】SDXL_VAE 图像编解码优化器_Qpipi
【更新】SDXL_VAE 图像编解码优化器
此内容为付费资源,请付费后查看
5积分
网盘密匙:Qpipi
允许生成图像/视频商用
允许再次训练
不允许转售AI模型
不允许生成计算服务费
许可证:CreativeML Open RAIL-M
🎀包含版本🆕SDXL_VAE、XL_VAE_F1
⚠️注意任选一个新版本即可,安装方法请看文章内介绍
付费资源
✍️ 评论 共2条

请登录后发表评论

最近评论