vae-ft-mse-840000-ema-pruned （sd-vae-ft-mse-original）这是stable diffusion webui常用的绘图美化模型，可以优化很多AI绘图细节上的缺陷！
使用方法见本文最后！出品自Stability AI 改进的自动编码器
![图片[1]_【更新】VAE-ft-mse-840000-ema-pruned （sd-vae-ft-mse-original）绘图美化模型_Qpipi](https://scdn.qpipi.com/2023/05/0f7ea6bb9f155315.webp)
利用
这些权重旨在与原始的 CompVis 稳定扩散代码库一起使用。如果您正在寻找与扩散器库一起使用🧨的模型，请到这里。
解码器微调
我们发布了两个kl-f8自动编码器版本，从原始的kl-f8自动编码器以LAION-Aesthetics和LAION-Humans的1：1比例进行了微调，这是一个未发布的子集，仅包含人类的SFW图像。目的是微调稳定扩散训练集（自动编码器最初是在OpenImages上训练的），但也用人类图像丰富数据集，以改善面部重建。 第一个是ft-EMA，从原来的检查站恢复，训练313198步骤并使用EMA权重。
它使用与原始检查点相同的损耗配置（L1 + LPIPS）。 第二个是ft-MSE，从ft-EMA恢复并使用EMA权重，并使用不同的损失训练另外280k步，更加强调 MSE重建（MSE + 0.1 * LPIPS）。它产生一些“更平滑”的输出。两个版本的批量大小均为 192（16 个 A100，每个 GPU 的批量大小为 12）。 为了保持与现有模型的兼容性，仅对解码器部分进行了微调;检查点可以用作现有自动编码器的直接替代品。
原始 kl-f8 VAE vs f8 英尺 EMA vs f8 英尺 MSE
评估
COCO 2017 （256×256， val， 5000 张图片）
| 型 | 火车台阶 | 射频识别 | PSNR | SSIM | PSIM | 链接 | 评论 |
|---|---|---|---|---|---|---|---|
| 源语言 | 246803 | 4.99 | 23.4 +/- 3.8 | 0.69 +/- 0.14 | 1.01 +/- 0.28 | https://ommer-lab.com/files/latent-diffusion/kl-f8.zip | 在 SD 中使用 |
| 傅立叶变换-EMA | 560001 | 4.42 | 23.8 +/- 3.9 | 0.69 +/- 0.13 | 0.96 +/- 0.27 | https://huggingface.co/stabilityai/sd-vae-ft-ema-original/resolve/main/vae-ft-ema-560000-ema-pruned.ckpt | 整体略好，EMA |
| 傅立叶变换-MSE | 840001 | 4.70 | 24.5 +/- 3.7 | 0.71 +/- 0.13 | 0.92 +/- 0.27 | https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt | 从FT-EMA恢复EMA，强调MSE（rec.损失= MSE + 0.1 * LPIPS），更平滑的输出 |
LAION-美学 5+ （256×256，子集，10000 张图片）
| 型 | 火车台阶 | 射频识别 | PSNR | SSIM | PSIM | 链接 | 评论 |
|---|---|---|---|---|---|---|---|
| 源语言 | 246803 | 2.61 | 26.0 +/- 4.4 | 0.81 +/- 0.12 | 0.75 +/- 0.36 | https://ommer-lab.com/files/latent-diffusion/kl-f8.zip | 在 SD 中使用 |
| 傅立叶变换-EMA | 560001 | 1.77 | 26.7 +/- 4.8 | 0.82 +/- 0.12 | 0.67 +/- 0.34 | https://huggingface.co/stabilityai/sd-vae-ft-ema-original/resolve/main/vae-ft-ema-560000-ema-pruned.ckpt | 整体略好，EMA |
| 傅立叶变换-MSE | 840001 | 1.88 | 27.3 +/- 4.7 | 0.83 +/- 0.11 | 0.65 +/- 0.34 | https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.ckpt | 从FT-EMA恢复EMA，强调MSE（rec.损失= MSE + 0.1 * LPIPS），更平滑的输出 |
视觉来自 COCO256 验证数据集的 256×2017 图像上的重建可视化。
安装使用方法：
重新启动stable-diffusion-webui会自动加载！
如果模型有多个版本，只要选其中一个版本即可，一般推荐最新版。
安装说明
下载SD绘图工具
AI绘图常用工具
希望你喜欢使用这个AI模型，就像我们创造它一样！如果您有任何问题或建议，请在评论区告诉我们。
使用Qpipi读图提示功能，获取图片TAG Prompt提示
你想要什么SD绘画模型？请在Qpipi社区或者评论留言告诉我们！
🎨享受精美的AI绘图乐趣！
- 最新
- 最热
只看作者