ComfyUI风格迁移指南

TOOL Nov 15, 2024

以前,我们想要生成特定风格的图片,需要依赖LoRA模型和提示,但有时候没有合适的LoRA模型,或者有些风格很难通过提示描述出来。

现在,只需要一张满意的照片,就能达到类似LoRA+提示描述的效果,再也不用费劲去寻找LoRA或设计提示了。这一切都归功于IPAdapter Plus插件,通过输入参考图片,就能生成类似风格的图片,效果如下:

1、安装插件

首先确保电脑上安装了最新版本的ComfyUI。

访问IPAdapter插件的GitHub页面,下载或通过git克隆到本地,将下载的插件文件放入ComfyUI的 custom_nodes/目录下。

也可以使用ComfyUI的Manager安装此插件。

除了插件之外,你还需要安装 insightface 依赖项。

2、下载模型

IPAdapter 节点支持各种模型,例如 SD1.5、SDXL 等,每个模型都有特定的优势和用例。你可以从这里下载模型。

例如:

  • ip-adapter_sd15:这是一个具有中等风格转换强度的基础模型。
  • ip-adapter_sd15_light_v11.bin:这是一个轻量级模型。如果你喜欢强度较低的风格转换,可以使用此模型。

在IPAdapter模型库中,建议下载:

如果你使用的是SDXL模型,建议下载:

此外,IPAdapter Plus还专门支持FaceID模型,用于涉及人物的风格转换。该模型允许你控制面部特征以确保与原始图像的一致性。

下载模型推荐:

  • 对于 SDXL :ip-adapter-faceid-portrait_sdxl.bin
  • 对于 SD 1.5 :ip-adapter-faceid-plusv2_sd15.bin

需要注意的是,大多数 FaceID 模型也需要与 Lora 配合使用。

3、效果演示

我使用 IPAdapter 风格转换将一张女孩的照片转换为插画风格。最终的结果是两幅图像的独特融合,展现出鲜明的特色:

我也尝试了不同的人物肖像和插画风格来创建新图像。最终结果结合了两张输入图像的特征,为我生成了一个新的角色。

提示词:

A girl, short hair flowing in the wind, clear eyes, high quality, detailed
翻译:一个女孩,短发在风中飘扬,眼睛清澈,质量高,细节丰富

我们还可以用它来生成 NFT 头像。在 Web3 世界中,NFT 头像充当数字身份的符号,不仅提供唯一可验证的个人标识,还提供社区归属感和社交优势。NFT 头像在交易中具有高流动性,可在多个平台自由买卖,为创作者和收藏者提供投资和获利的机会。如果你能运行这个工作流程,你将很容易拥有无限生成 NFT 头像的机会。

首先,我选择了一个真人肖像,并将其与我喜欢的 NFT 头像组合在一起,创造了一个全新的形象。短短几秒钟,我就得到了一个全新的 NFT 头像。当然,你也可以选择生成不同的风格,比如像素艺术、Bored Ape、赛博朋克、3D 数字人、古怪另类等等。

提示词:

Pixel art, prompt words: strong Pixel style, NFT avatar.,high quality, detailed,Illustration, minimalist avatar,colorful
翻译:像素艺术,提示词:强烈像素风格,NFT头像。,高品质,细节丰富,插画,极简头像,色彩鲜艳

提示词:

Cyberpunk style Bored Ape NFT avatar, prompt words: Cyberpunk, technological vibe, NFT avatar.,high quality, detailed,Illustration, minimalist avatar,colorful
翻译:赛博朋克风格 Bored Ape NFT头像,提示词:赛博朋克,科技气息,NFT头像。,高品质,细节丰富,插画,极简头像,色彩鲜艳

4、Controlnet+IPAdapter

在上面的文字中,我们利用IPAdapter风格迁移转换的灵活性进行了无数次实验,展示了无论是在生成 NFT 头像还是其他所需的合成图像方面,它都具有令人印象深刻的功能。但是,如果你希望最终图像的主要主题与输入图像具有更强的相关性,则上述工作流程是不够的。此时,我建议添加 ControlNet 节点来控制主轮廓,同时进行风格转换。

我在基本风格转换的基础上添加了 ControlNet lineart 节点来控制线条画,确保最终轮廓与上传的轮廓相匹配。只需上传你喜欢的参考图像,就可以将参考图像的色调和纹理转移到线条画中。调整steps和 cfg 以产生所需的效果。这里我把steps设为30,cfg设为8。

提示词:

A girl riding a motorcycle on the road,Laugh, blue sky with white clouds, on the green grassland, by the seaside.Signboard, peaceful, detailed, high quality, colorful
翻译:路上骑摩托车的女孩,笑,蓝天白云,绿草地,海边。招牌,宁静,细致,高品质,色彩鲜艳

提示词:

Temple of Heaven, Great Wall, Peony, peaceful, detailed, high quality, colorful
翻译:天坛,长城,牡丹,宁静,细致,高品质,色彩鲜艳

提示词:

Classical beauty, headdress, exquisite features, peaceful, detailed, high quality, colorful
翻译:古典美女,头饰,精致五官,宁静,细致,高品质,色彩鲜艳

原文链接:How to perform style transfer using IPAdapter Plus in ComfyUI?

汇智网翻译整理,转载请标明出处

Tags