Kolors-IP-Adapter-Plus Model，权重和推理代码

📖 介绍

我们提供基于 Kolors-Basemodel 的 IP-Adapter-Plus 权重和推理代码。Kolors-IPAdapter-Plus结果示例如下：

我们的改进

• 更强大的图像特征提取器。我们采用 Openai-CLIP-336 模型作为图像编码器，这使我们能够在参考图像中保留更多细节
• 更多样化、更高质量的训练数据：我们借鉴其他工作的数据策略，构建了一个大规模、高质量的训练数据集。我们认为，配对训练数据可以有效提高性能。

📊 评估

为了进行评估，我们创建了一个测试集，其中包含 200 多个参考图像和文本提示。我们邀请了几位图像专家为不同模型的生成结果提供公平的评分。专家根据四个标准对生成的图像进行评分：视觉吸引力、文本忠实度、图像忠实度和总体满意度。图像忠实度衡量的是IP-Adapter在参考图像上的语义保留能力，而其他标准则遵循BaseModel的评估标准。具体结果总结如下表所示，其中Kolors-IP-Adapter-Plus的总体满意度得分最高。

型	平均总体满意度	平均图像忠实度	平均视觉吸引力	平均文本忠实度
SDXL-IP-适配器-Plus	2.29	2.64	3.22	4.02
中途-v6-CW	2.79	3.0	3.92	4.35
Kolors-IP-适配器-加	3.04	3.25	4.45	4.30

🛠️ 用法

要求

依赖和安装与Kolors-BaseModel基本相同。

1. 仓库克隆和依赖项安装

apt-get install git-lfs
git clone https://github.com/Kwai-Kolors/Kolors
cd Kolors
conda create --name kolors python=3.8
conda activate kolors
pip install -r requirements.txt
python3 setup.py install

2. Weights下载链接：

huggingface-cli download --resume-download Kwai-Kolors/Kolors-IP-Adapter-Plus --local-dir weights/Kolors-IP-Adapter-Plus

或

git lfs clone https://huggingface.co/Kwai-Kolors/Kolors-IP-Adapter-Plus weights/Kolors-IP-Adapter-Plus

3. 推理：

python ipadapter/sample_ipadapter_plus.py ./ipadapter/https://raw.githubusercontent.com/junqiangwu/Kolors/master/ipadapter/asset/test_ip.jpg "穿着黑色T恤衫，上面中文绿色大字写着“可图”"

python ipadapter/sample_ipadapter_plus.py ./ipadapter/https://raw.githubusercontent.com/junqiangwu/Kolors/master/ipadapter/asset/test_ip2.png "一只可爱的小狗在奔跑"

# The image will be saved to "scripts/outputs/"

注意

基于 Kolors 的 IP-Adapter-FaceID 模型也即将发布！

确认

• 感谢 IP-Adapter 提供代码库。

💡如有问题或建议，🥳请在社区或评论告诉我们。🎨享受精彩的AI绘画乐趣！| 使用Qpipi读图提示功能，获取图片TAG Prompt提示 | Stable Diffusion AI绘图软件常见问题解答 | AI绘画新人必备工具指南

⭕ 注意：请勿使用浏览器的"阅读模式"，会导致无法显示下载等内容。