ComfyUI官方支持FLUX.1 Tools
我们很高兴地告诉大家,ComfyUI 现在支持 Black Forest Labs 为 Flux.1 设计的新模型:Redux 适配器、Fill模型、ControlNet & LoRA(深度和 Canny边缘)。
这些新增功能让用户能够轻松、精确地控制图像生成中的细节和样式。
FLUX.1 Fill [dev]
获取输入图像、输入蒙版(与输入图像大小相同的黑白图像)和提示。
FLUX.1 Redux [dev]
一个小型适配器,可用于 dev 和 schnell 来生成图像变化。输入是图像(无提示),模型将生成与输入图像相似的图像。
Controlnet 模型
获取输入图像和提示:
- FLUX.1 Depth [dev]:使用深度图作为实际条件
- FLUX.1 Depth [dev] LoRA:与 FLUX.1 [dev] 一起使用的 LoRA
- FLUX.1 Canny [dev]:使用 Canny 边缘图作为实际条件
- FLUX.1 Canny [dev] LoRA:可与 FLUX.1 [dev] 一起使用的 LoRA
查看以下内容以详细了解每个模型、其功能以及如何开始使用它们。
1、FLUX.1 Fill
FLUX.1 Fill模型旨在通过蒙版和提示进行修复和修复。
功能:
- 填充修复:填充图像中缺失或删除的区域。
- 扩展修复:无缝扩展图像
输入:
- 输入图像
- 输入蒙版(与输入图像大小相同的黑白图像)
- 提示。
增强的 CLI 功能:
- 对于修复任务,CLI 会根据输入图像和蒙版的尺寸自动推断生成图像的大小。
开始使用:
- 将 ComfyUI 更新到最新版本
- 将 clip_l 和 t5xxl_fp16 模型下载到
models/clip
文件夹 - 将 flux1-fill-dev.safetensors 下载到
ComfyUI/models/unet
文件夹中
使用ComfyUI官方示例页面上的 flux_inpainting_example
或 flux_outpainting_example
工作流程:
2、FLUX.1 Redux
FLUX.1 Redux 模型是一种轻量级模型,可与 Flux.1[Dev]
和 Flux.1[Schnell]
配合使用,根据 1 张输入图像生成图像变体 - 无需提示。它非常适合快速生成特定风格的图像。
输入:
- 向 Remix 适配器提供现有图像。
输出:
- 一组符合输入风格、调色板和构图的变体。
快速上手:
- 将 ComfyUI 更新至最新版本
- 将 sigclip_patch14-384.safetensors 下载至
ComfyUI/models/clip_vision
- 确保 flux1-dev 模型位于
ComfyUI/models/unet
文件夹中 - 将 Redux 模型下载至
comfyui/models/style_models
- 从官方示例页面下载 remix 工作流,如下图所示。
混合 1 张图片:
混合多张图片:
3、ControlNet
ControlNet 模型通过地图添加特定条件来增强生成工作流,提供对结构和设计的无与伦比的控制。
类型:
- 深度模型:利用深度图来指导透视和结构。
- Canny 模型:使用 Canny 边缘图进行基于轮廓的条件。
输入:
- 图像
- 文本提示
- 深度或 Canny 边缘图。
输出:
- 生成的图像,与提供的结构紧密相关,并符合提示。
有关更多详细信息,请查看 Black Forest Labs 的博客文章
原文链接:Day 1 Support for Flux Tools in ComfyUI
汇智网翻译整理,转载请标明出处