ArtiWaifu Diffusion XL AI绘图模型,美观且忠实还原的动漫风格插图

ArtiWaifu Diffusion XL AI绘图模型,美观且忠实还原的动漫风格插图

ArtiWaifu Diffusion XL AI绘图模型,美观且忠实还原的动漫风格插图
此内容为免费资源,请登录后查看
0积分
网盘密匙:Qpipi2023
允许图像商用
不允许出售模型
不允许生成图像服务费
许可证:CreativeML Open RAIL++-M
🎀包含版本🆕v1.0
⚠️注意任选一个新版本即可,安装方法请看文章内介绍
免费资源

我们发布了 ArtiWaifu Diffusion 模型,旨在生成美观且忠实还原的动漫风格插图。

AWA Diffusion 是 Stable Diffusion XL 模型的迭代,掌握了 6000 多种艺术风格和 4000 多个动漫角色,通过触发词生成图像。

作为动漫的专业图像生成模型,它擅长制作高质量的动漫图像,尤其是在生成具有高度可识别的风格和角色的图像,同时保持始终如一的高质量美学表达。

型号详细信息

AWA Diffusion 模型由 Stable Diffusion XL 微调而成,精选数据集包含 1.5M 高质量动漫图像,涵盖截至 2024 年 4 月 15 日的广泛流行和小众动漫概念。AWA Diffusion 采用我们最先进的训练策略,使用户能够轻松诱导模型生成特定字符或风格的图像,同时保持高图像质量和美学表达。

使用指南

本指南将 (i) 介绍模型推荐的使用方法和提示写作策略,旨在为生成提供建议,以及 (ii) 作为模型使用的参考文档,详细说明触发词、质量标签、评级标签、样式标签和字符标签的写作模式和策略。

基本用法

  • CFG 量表:5-11
  • 分辨率:面积(= 宽 x 高)约为 1024×1024。不低于 256×256,长度和宽度均为 32 的倍数。
  • 采样方法:Euler A(50+步)或DPM++ 2M Karras(~35步)

由于采用了特殊的训练方法,AWA的最优推理步数高于常规值。随着推理步骤的增加,生成的图像的质量可以不断提高……

❓ 问:为什么不使用标准 SDXL 分辨率?

💡 答:因为训练中使用的桶算法不遵循一组固定的桶。虽然这不符合位置编码,但我们没有观察到任何不利影响。

提示策略

众所周知,所有文本到图像扩散模型对提示的敏感度都非常高,AWA 扩散也不例外。即使是提示中的拼写错误,甚至用下划线替换空格,也会影响生成的结果。AWA Diffusion 鼓励用户在用逗号 + 空格() 分隔的标签中编写提示。尽管该模型还支持自然语言描述作为提示,或两者的混合,但逐个标签格式更加稳定和用户友好。

在描述特定的ACG概念时,例如角色、风格或场景,我们建议用户从Danbooru标签中选择标签,并将Danbooru标签中的下划线替换为空格,以确保模型准确理解您的需求。例如,应该写成 ,在推理工具(如 WebUI AUTOMATIC1111使用括号对提示进行加权)中,标签内的所有括号都应该转义,即

bishop_(chess) -> bishop(chess) -> bishop \(chess\)

标签排序

包括 AWA 扩散在内,大多数扩散模型都能更好地理解逻辑有序的标签。虽然标签排序不是强制性的,但它可以帮助模型更好地了解您的需求。一般来说,顺序中的标签越早,它对生成的影响就越大。

下面是标签排序的示例。该示例组织标签的顺序,在艺术风格标签和字符标签之前加上标签,因为样式和主题对图像最重要。随后,按重要性顺序添加其他标签。最后,美学标签和质量标签被放置在末尾,以进一步强调图像的美感:

艺术风格(由 XXX 提供) ->角色(1 frieren (sousou no frieren)) ->种族(精灵) ->构图(牛仔射击) ->绘画风格(impasto) ->主题(幻想主题) ->主要环境(在森林里,白天) ->背景(渐变背景) ->动作(坐在地上) ->表情(面无表情) ->主要特征(白发) ->其他特征(双尾、绿眼睛、 分开的嘴唇) ->服装(穿着白色连衣裙) ->服装配件(褶边) ->其他物品(拿着魔杖) ->次要环境(草地、阳光) ->美学(美丽的色彩细节) ->质量(最好的质量) ->次要描述(鸟、云、蝴蝶)

art style (by xxx) -> character (1 frieren (sousou no frieren)) -> race (elf) -> composition (cowboy shot) -> painting style (impasto) -> theme (fantasy theme) -> main environment (in the forest, at day) -> background (gradient background) -> action (sitting on ground) -> expression (expressionless) -> main characteristics (white hair) -> other characteristics (twintails, green eyes, parted lip) -> clothing (wearing a white dress) -> clothing accessories (frills) -> other items (holding a magic wand) -> secondary environment (grass, sunshine) -> aesthetics (beautiful color, detailed) -> quality (best quality) -> secondary description (birds, cloud, butterfly)

标签顺序不是一成不变的。灵活地编写提示可以产生更好的结果。例如,如果某个概念(如风格)的效果太强,有损于图像的审美吸引力,则可以将其移动到后面的位置以减少其影响。

否定提示

否定提示对于 AWA 扩散不是必需的。如果你使用否定提示,并不是否定提示越多越好。它们应尽可能简洁,并且易于模型识别。太多的负面词语可能会导致较差的生成结果。以下是一些使用否定提示的推荐方案:

  1. 水印
signature,
logo,
artist name,
  1. 质量
worst quality,
lowres,
ugly,
abstract,
  1. 风格
real life,
3d,
celluloid,
sketch,
draft,
  1. 人体解剖学
deformed hand,
fused fingers,
extra limbs,
extra arms,
missing arm,
extra legs,
missing leg,
extra digits,
fewer digits,

触发词

在提示中添加触发词,以告知模型要生成的概念。触发词可以包括角色名称、艺术风格、场景、动作、质量等。

触发词提示

  1. 错别字:该模型对触发词的拼写非常敏感。即使是一个字母的差异也可能导致触发器失败或导致意外结果。
  2. 括号转义:使用依赖括号进行加权提示的推理工具(如 AUTOMATIC1111 WebUI)时要注意转义触发词中的括号,例如 -> 。1lucy(cyberpunk)1lucy \(cyberpunk\)
  3. 触发效果预览:通过在Danbooru上搜索标签来预览标签,更好地了解标签的含义和用法。

Style标签

风格标签分为两种类型:绘画风格标签和艺术风格标签。绘画风格标签描述了图像中使用的绘画技术或媒体,例如油画、水彩画、平面色和油彩画。艺术风格标签代表了图像背后艺术家的艺术风格。

AWA Diffusion 支持以下绘画风格标签:

  • Danbooru 标签中可用的绘画风格标签,例如 、 、 等; oil painting watercolor flat color
  • AID XL 0.8 支持的所有绘画风格标签,如 、 等; flat-pasto
  • Neta Art XL 1.0支持的所有样式标签,如,等; gufeng
"style","count"
"sketch","19690"
"celluloid","14565"
"flat-pasto","14387"
"thin-pasto","7421"
"pseudo-impasto","7335"
"realistic","7001"
"impasto","4576"
"flat color","4510"
"3d","3211"
"clean color","2949"
"anime coloring","2531"
"painting (medium)","1749"
"watercolor (medium)","1171"
"cel shading","943"
"photorealistic","861"
"oil painting (medium)","747"
"acrylic paint (medium)","491"
"marker (medium)","310"
"graphite (medium)","239"
"card (medium)","228"
"draft","184"
"colored pencil (medium)","147"

AWA Diffusion 支持以下艺术风格标签:

  • Danbooru 标签中可用的艺术风格标签,例如 、 等;byyoneyama mai bywlop
  • AID XL 0.8 支持的所有艺术风格标签,如、、等;byantifreeze3 by7thknights

标签库中的标签数量越多,艺术风格的训练就越彻底,生成的保真度就越高。通常,计数大于 50 的艺术风格标签会产生更好的生成结果。

样式标签提示

  1. 强度调整:您可以通过更改提示中样式标签的顺序或权重来调整样式的强度。预先加载样式标签可增强其效果,而稍后放置样式标签会降低其效果。

❓ 问题:为什么要在艺术风格标签中包含前缀?by

💡 答:为了清楚地告知模型您想要生成特定的艺术风格而不是其他内容,我们建议在艺术风格标签中包含前缀。这与 区分开来,尤其是当它本身具有其他含义时,例如可以代表恐龙或艺术家的标识符。同样,在触发字符时,将 a 作为前缀添加到字符触发词中。by byxxx

字符标签

字符标签描述生成图像中的字符 IP。使用角色标签将引导模型生成角色的外观特征

字符标签也需要从字符标签列表中获取。要生成特定字符,首先在标签存储库中找到对应的触发词,将触发词中的所有下划线替换为空格,并附加到字符名称前面。例如,触发模型从动漫“EVA”中生成角色绫波,对应于 Danbooru 标签; 触发模型生成《刀剑神域》中的角色亚丝娜,对应于Danbooru标签。_ 1 1ayanami rei ayanami_rei 1asuna(sao) asuna_(sao)

标签存储库中的标签计数越高,角色训练得越彻底,生成保真度越高。通常,计数大于 100 的字符标签会产生更好的生成结果。

字符标签提示

  1. 角色服装:为了实现更灵活的角色服装,角色标签不会刻意引导模特绘制角色的正式服装。要生成特定官方服装中的角色,除了触发词外,您还应该在提示中包含对服装的描述,例如,“1 lucy (cyberpunk), wearing a white cropped jacket, underneath bodysuit, shorts, thighhighs, hip vent”。
  2. 系列批注:某些字符标签在字符名称后包含其他括号批注。括号和里面的注释不能省略,例如,不能写成 .除此之外,您不需要添加任何额外的注释,例如,您不需要在字符标签之后添加字符所属的系列标签。1 lucy (cyberpunk) 1 lucy
  3. 已知问题 1:生成某些角色时,可能会发生神秘的特征变形,例如,触发《我的英雄学院》中的角色 Tsuyu Asui 可能会导致眼睛之间多出一条黑线。这是因为模型错误地将大圆眼睛解释为眼镜,因此应包含在否定提示中以避免此问题。1 asui tsuyu glasses
  4. 已知问题 2:在生成不太受欢迎的字符时,由于数据/训练不足,AWA Diffusion 可能会生成特征恢复不完整的图像。在这种情况下,我们建议您在提示中扩展角色描述,而不仅仅是角色名称,详细说明角色的出身、种族、头发颜色、服装等。
  5. 已知问题 3:某些字符标签将带有样式。有些太重而无法重叠。降低字符标签的权重以缓解问题。例如,-> 。frieren (frieren:0.8)

字符标签触发器示例

  • 1 lucy (cyberpunk)✅ 正确的字符标签
  • 1 lucy❌ 缺少括号批注
  • 1 lucy (cyber)❌ 不正确的括号注释lucy (cyberpunk) ❌ 缺少前缀1
  • 1 lucy cyberpunk❌ 缺少括号1 lucy(赛博朋克❌括号未关闭)
  • 1 lucky (cyberpunk)❌ 拼写错误
  • 1 lucy (cyberpunk: edgerunners)❌ 括号注释不遵循所需的字符标记

❓ 问题:为什么有些字符标签包含括号注释,例如,而其他字符标签则不包含,例如?lucy (cyberpunk) frieren

💡 答:在不同的作品中,可能会有同名的角色,比如《刀剑神域》和《蓝色档案》中的亚丝娜。为了区分这些同名的人物,有必要用作品的名字来标注角色的名字,如果名字太长,就缩写。对于具有唯一名称且当前没有重复项的字符,例如 ,不需要特殊批注。frieren

质量标签和美学标签

对于 AWA Diffusion,在您的正面提示中包含质量描述符非常重要。质量描述与质量标签和美学标签有关。

质量标签直接描述生成图像的美学质量,影响细节、纹理、人体解剖结构、照明、颜色等。添加质量标签有助于模型生成更高质量的图像。质量标签按从高到低的顺序排列如下:

惊人的质量 -> 最好的质量 -> 高质量 ->正常质量 ->低质量 ->最差的质量

amazing quality -> best quality -> high quality -> normal quality -> low quality -> worst quality

美学标签描述了生成图像的美学特征,帮助模型生成具有艺术吸引力的图像。除了典型的审美词(如 )、 、 AWA Diffusion 还经过专门训练,可以有效地响应审美触发词,如 、 和 ,这些词分别表达了吸引人的色彩、细节和整体美感。

perspective lighting and shadow beautiful color detailed aesthetic

推荐的通用描述质量的方式是:<你的提示>,美丽的颜色,详细,惊人的质量

<your prompt>, beautiful color, detailed, amazing quality

质量和美学标签的提示

  1. 标签数量:只需要一个质量标签;可以添加多个美学标签。
  2. 标签位置:质量和美学标签的位置不是固定的,但它们通常放在提示的末尾。
  3. 相对质量:质量没有绝对的等级;隐含的质量与一般审美标准一致,不同的用户可能对质量有不同的看法。

提示词示例

示例 1

by yoneyama mai, 1 frieren, 1girl, solo, fantasy theme, smile, holding a magic wand, beautiful color, amazing quality
  1. 由米山麻衣触发米山麻衣的艺术风格,放置在前面以增强效果。
  2. 1 frieren 触发了“Frieren at the Funeral”系列中的角色 Frieren。
  3. 美丽的颜色描述了生成的图像中的美丽颜色。
  4. 惊人的质量描述了生成的图像的惊人质量。

示例 2

by nixeu, 1 lucy (cyberpunk), 1girl, solo, cowboy shot, gradient background, white cropped jacket, underneath bodysuit, shorts, thighhighs, hip vent, detailed, best quality

作者:nixeu, 1 Lucy (cyberpunk), 1girl, 独奏, 牛仔镜头, 渐变背景, 白色短款夹克, 紧身衣内衬, 短裤, 大腿高跟鞋, 臀部开衩, 细节丰富, 质量最好的

示例 3:风格混合

通过对多个不同的样式标签进行分层,可以生成具有多种样式特征的图像。

简单的混合

by ningen mame, by ciloranko, by sho (sho lwlw), 1girl, 1 hatsune miku, sitting, arm support, smile, detailed, amazing quality

作者:Ningen Mame, 作者:Ciloranko, 作者: Sho (sho lwlw), 1girl, 1 初音未来, 坐着, 手臂支撑, 微笑, 详细, 惊人的质量

-加权混合

使用AUTOMATIC1111 WebUI 提示符加权语法(括号加权),对不同的样式标签进行加权,以更好地控制生成图像的样式。

(by ningen mame:0.8), (by ciloranko:1.1), (by sho (sho lwlw):1.2), 1girl, 1 hatsune miku, sitting, arm support, smile, detailed, amazing quality

(作者:Ningen Mame:0.8), (作者:Ciloranko:1.1), (作者:Sho (sho lwlw):1.2), 1女孩, 1 初音未来, 坐着, 手臂支撑, 微笑, 详细, 惊人的质量

示例 4:多角色场景

通过在提示中添加多个字符标签,您可以在同一帧中生成具有多个字符的图像。与其他类似型号相比,AWA在多角色场景中表现更好,但仍然不稳定。

1girl and 1boy, 1 ganyu girl, 1 gojou satoru boy, beautiful color, amazing quality

# 1个女孩和1个男孩,1个甘雨女孩,1个五条悟男孩,美丽的色彩,惊人的品质

2girls, 1 ganyu girl, 1 yoimiya girl, beautiful color, amazing quality

# 2个女孩,1个甘雨女孩,1个宵宫女孩,美丽的色彩,惊人的品质

AWA Diffusion 有望将高级美学与综合知识相结合。它既不应该有传统AI的油腻感,也不应该成为知识不足的花瓶。我们将继续探索更先进的训练技术和策略,不断提高模型的质量。

AI绘画作品展示

AI绘图常用工具

希望你喜欢使用这个AI模型,就像我们创造它一样!如果您有任何问题或建议,请在评论区告诉我们。

使用Qpipi读图提示功能,获取图片TAG Prompt提示

Stable Diffusion AI绘图软件常见问题解答

AI绘画新人必备工具指南

你想要什么SD绘画模型?请在Qpipi社区或者评论留言告诉我们!

🎨享受精美的AI绘图乐趣!

© 版权声明
THE END
喜欢就支持一下吧!
点赞9 分享
评论 抢沙发

请登录后发表评论

    暂无评论内容

社区动态Fun