【更新】IP-Adapter Model SD1 & SDXL，IPAdapter 全套模型库

IP Adapter是一种有效且轻量级的适配器，用于实现预训练文本到图像扩散模型的图像提示功能。只有 22M 参数的 IP 适配器可以实现与微调图像提示模型相当甚至更好的性能。

IP Adapter不仅可以推广到从同一基础模型微调的其他自定义模型，还可以推广到使用现有可控工具的可控生成。此外，图像提示还可以与文本提示很好地配合，以完成多模态图像生成。

模型列表

图像编码器

• models/image_encoder：OpenCLIP-ViT-H-14，带 632.08M 参数（SD1.0）
• CLIP-ViT-H-14-laion2B-s32B-b79K（SD1.0）
• sdxl_models/image_encoder：OpenCLIP-ViT-bigG-14，参数为 1844.9M（SDXL）
• CLIP-ViT-bigG-14-laion2B-39B-b160k（SDXL）

更多信息可以在这里找到

用于 SD 1.5 的 IP 适配器

• ip-adapter_sd15：使用来自 OpenCLIP-ViT-H-14 的全局图像嵌入作为条件
• ip-adapter_sd15_light：与IP-adapter_sd15相同，但更兼容文本提示
• ip-adapter-plus_sd15：使用来自 OpenCLIP-ViT-H-14 的补丁图像嵌入作为条件，比 ip-adapter_sd15 更接近参考图像
• ip-adapter-plus-face_sd15：与 ip-adapter-plus_sd15 相同，但使用裁剪的人脸图像作为条件

用于 SDXL 1.0 的 IP 适配器

• ip-adapter_sdxl：使用来自 OpenCLIP-ViT-bigG-14 的全局图像嵌入作为条件
• ip-adapter_sdxl_vit-h：与 ip-adapter_sdxl 相同，但使用 OpenCLIP-ViT-H-14
• ip-adapter-plus_sdxl_vit-h：使用来自 OpenCLIP-ViT-H-14 的补丁图像嵌入作为条件，比 ip-adapter_xl 和 ip-adapter_sdxl_vit-h 更接近参考图像
• ip-adapter-plus-face_sdxl_vit-h：与 ip-adapter-plus_sdxl_vit-h 相同，但使用裁剪的人脸图像作为条件

数量较多，更详细型号请查阅Qpipi下载列表，已包含bin、safetensors格式。

下载后放在你的 /ComfyUI/models/ipadapter 目录

请记住，您还可以使用任何自定义位置设置文件中的条目。ipadapter extra_model_paths.yaml

• /ComfyUI/models/clip_vision
  • CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors，下载并重命名
  • CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors，下载并重命名
  • clip-vit-large-patch14-336.bin、下载和重命名仅适用于 Kolors 模型
• /ComfyUI/models/ipadapter，如果不存在，请创建它
  • ip-adapter_sd15.safetensors，基础模型，平均强度
  • ip-adapter_sd15_light_v11.bin、轻影响模型
  • ip-adapter-plus_sd15.safetensors，Plus 模型，非常强大
  • ip-adapter-plus-face_sd15.safetensors、人脸模型、肖像
  • ip-adapter-full-face_sd15.safetensors，更强的面部模型，不一定更好
  • ip-adapter_sd15_vit-G.safetensors，基础模型，需要 bigG clip 视觉编码器
  • ip-adapter_sdxl_vit-h.safetensors，SDXL 模型
  • ip-adapter-plus_sdxl_vit-h.safetensors，SDXL plus 模型
  • ip-adapter-plus-face_sdxl_vit-h.safetensors，SDXL 人脸模型
  • ip-adapter_sdxl.safetensors，vit-G SDXL 型号，需要 bigG clip 视觉编码器

FaceID 模型需要 ，您需要将其安装在 ComfyUI 环境中。查看此问题以获取帮助。请记住，大多数 FaceID 型号还需要 LoRA。insightface

要使 Unified Loader 正常工作，需要完全按照下面的列表所示命名文件。

• /ComfyUI/models/ipadapter
  • ip-adapter-faceid_sd15.bin，基本 FaceID 模型
  • ip-adapter-faceid-plusv2_sd15.bin、FaceID 加 v2
  • ip-adapter-faceid-portrait-v11_sd15.bin、人像的文本提示样式迁移
  • ip-adapter-faceid_sdxl.bin、SDXL 基础 FaceID
  • ip-adapter-faceid-plusv2_sdxl.bin，SDXL plus v2
  • ip-adapter-faceid-portrait_sdxl.bin、SDXL 文本提示样式迁移
  • ip-adapter-faceid-portrait_sdxl_unnorm.bin，非常强的风格转移 SDXL Only

大多数 FaceID 型号都需要 LoRA。如果使用 ，则遵循命名约定时，它将自动加载。否则，您必须手动加载它们，请注意，每个 FaceID 模型都必须与自己的特定 LoRA 配对。IPAdapter Unified Loader FaceID

• /ComfyUI/models/loras
  • ip-adapter-faceid_sd15_lora.safetensors
  • ip-adapter-faceid plusv2_sd15_lora.safetensors
  • ip-adapter-faceid_sdxl_lora.safetensors、SDXL FaceID LoRA
  • ip-adapter-faceid-plusv2_sdxl_lora.safetensors，SDXL 加 v2 LoRA

社区已经制作了一些有趣的 IPAdapter 模型。

• /ComfyUI/models/ipadapter
  • ip_plus_composition_sd15.safetensors，忽略样式和内容的一般组合
  • ip_plus_composition_sdxl.safetensors，SDXL 版本
  • Kolors-IP-Adapter-Plus.bin，适用于 Kolors 模型的 IPAdapter Plus
  • Kolors-IP-Adapter-FaceID-Plus.bin，用于 Kolors 模型的 IPAdapter FaceIDv2。注意：Kolors 是在 InsightFace antelopev2 模型上训练的，你需要手动下载并放在目录下。models/inisghtface

💡如有问题或建议，🥳请在社区或评论告诉我们。🎨享受精彩的AI绘画乐趣！| 使用Qpipi读图提示功能，获取图片TAG Prompt提示 | Stable Diffusion AI绘图软件常见问题解答 | AI绘画新人必备工具指南

⭕ 注意：请勿使用浏览器的"阅读模式"，会导致无法显示下载等内容。