ComfyUI官方支持FLUX.1 Tools

TOOL Nov 26, 2024

我们很高兴地告诉大家,ComfyUI 现在支持 Black Forest Labs 为 Flux.1 设计的新模型:Redux 适配器、Fill模型、ControlNet & LoRA(深度和 Canny边缘)。

这些新增功能让用户能够轻松、精确地控制图像生成中的细节和样式。

FLUX.1 Fill [dev]

获取输入图像、输入蒙版(与输入图像大小相同的黑白图像)和提示。

FLUX.1 Redux [dev]

一个小型适配器,可用于 dev 和 schnell 来生成图像变化。输入是图像(无提示),模型将生成与输入图像相似的图像。

Controlnet 模型

获取输入图像和提示:

  • FLUX.1 Depth [dev]:使用深度图作为实际条件
  • FLUX.1 Depth [dev] LoRA:与 FLUX.1 [dev] 一起使用的 LoRA
  • FLUX.1 Canny [dev]:使用 Canny 边缘图作为实际条件
  • FLUX.1 Canny [dev] LoRA:可与 FLUX.1 [dev] 一起使用的 LoRA

查看以下内容以详细了解每个模型、其功能以及如何开始使用它们。

1、FLUX.1 Fill

FLUX.1 Fill模型旨在通过蒙版和提示进行修复和修复。

功能:

  • 填充修复:填充图像中缺失或删除的区域。
  • 扩展修复:无缝扩展图像

输入:

  • 输入图像
  • 输入蒙版(与输入图像大小相同的黑白图像)
  • 提示。

增强的 CLI 功能:

  • 对于修复任务,CLI 会根据输入图像和蒙版的尺寸自动推断生成图像的大小。

开始使用:

  • 将 ComfyUI 更新到最新版本
  • 将 clip_l 和 t5xxl_fp16 模型下载到 models/clip 文件夹
  • 将 flux1-fill-dev.safetensors 下载到 ComfyUI/models/unet 文件夹中

使用ComfyUI官方示例页面上的 flux_inpainting_exampleflux_outpainting_example工作流程:

2、FLUX.1 Redux

FLUX.1 Redux 模型是一种轻量级模型,可与 Flux.1[Dev]Flux.1[Schnell] 配合使用,根据 1 张输入图像生成图像变体 - 无需提示。它非常适合快速生成特定风格的图像。

输入:

  • 向 Remix 适配器提供现有图像。

输出:

  • 一组符合输入风格、调色板和构图的变体。

快速上手:

  • 将 ComfyUI 更新至最新版本
  • 将 sigclip_patch14-384.safetensors 下载至 ComfyUI/models/clip_vision
  • 确保 flux1-dev 模型位于 ComfyUI/models/unet 文件夹中
  • 将 Redux 模型下载至 comfyui/models/style_models
  • 官方示例页面下载 remix 工作流,如下图所示。

混合 1 张图片:

混合 JAGUAR 徽标:)


混合多张图片:

将两张图片混合在一起

3、ControlNet

ControlNet 模型通过地图添加特定条件来增强生成工作流,提供对结构和设计的无与伦比的控制。

类型:

  • 深度模型:利用深度图来指导透视和结构。
  • Canny 模型:使用 Canny 边缘图进行基于轮廓的条件。

输入:

  • 图像
  • 文本提示
  • 深度或 Canny 边缘图。

输出:

  • 生成的图像,与提供的结构紧密相关,并符合提示。

有关更多详细信息,请查看 Black Forest Labs 的博客文章


原文链接:Day 1 Support for Flux Tools in ComfyUI

汇智网翻译整理,转载请标明出处

Tags