ControlNet重磅更新线稿融图扩图!黑森林Flux Tools被ComfyUi支持

B站影视 2024-11-22 11:32 2

摘要:我们很高兴地告诉大家,ComfyUI 现在支持Black Forest Labs为 FLUX.1 设计的 3 系列新模型:Redux 适配器、填充模型、ControlNet 模型和 LoRA(深度和 Canny)。

我们很高兴地告诉大家,ComfyUI 现在支持Black Forest Labs为 FLUX.1 设计的 3 系列新模型:Redux 适配器、填充模型、ControlNet 模型和 LoRA(深度和 Canny)。

这些附加功能让用户能够轻松、精确地控制图像生成中的细节和样式。

FLUX.1 Fill [dev]:获取输入图像、输入掩码(与输入图像大小相同的黑白图像)和提示FLUX.1 Redux [dev]:一个小型适配器,可用于 dev 生成 schnell 图像变化。输​入是图像(无提示),模型将生成类似于输入图像的图像Controlnet 模型:获取输入图像和提示FLUX.1 Depth [dev]:使用深度图作为实际调节FLUX.1 Depth [dev] LoRA:LoRA 将与 FLUX.1 [dev] 一起使用FLUX.1 Canny [dev]:使用精明边缘图作为实际条件FLUX.1 Canny [dev] LoRA:可与 FLUX.1 [dev] 一起使用的 LoRA

请查看以下内容详细了解每种型号、其特性以及如何开始使用它们。

填充模型旨在通过蒙版和提示进行修复和移除。

功能:修复:填充图像中缺失或删除的区域。延伸:无缝扩展图像输入:一张输入图像、一个输入蒙版(与输入图像大小相同的黑白图像)和一个提示。增强的 CLI 功能:对于修复任务,CLI 会根据输入图像和蒙版的尺寸自动推断生成图像的大小。

开始:

更新 ComfyUI 至最新版本将 clip_l 和 t5xxl_fp16 模型下载到 models/clip 文件夹下载 Flux1-fill-dev.safetensors 位于ComfyUI/models/unet文件夹中

使用我们示例页面flux_inpainting_example上的或工作流程。flux_outpainting_example

Redux 模型是一种轻量级模型,可与 和 配合使用Flux.1[Dev],Flux.1[Schnell]根据 1 张输入图像生成图像变体(无需提示)。它非常适合快速生成特定风格的图像。

输入:向 Remix 适配器提供一个现有图像。输出:一组符合输入风格、调色板和构图的变化。

入门:

更新 ComfyUI 至最新版本下载sigclip_patch14-384.safetensors到ComfyUI/models/clip_vision确保 flux1-dev 模型位于ComfyUI/models/unet文件夹中下载 Redux 模型到comfyui/models/style_models在我们的示例页面上下载如下图所示的 remix 工作流程。

混音 1 张图片

重新混合 JAGUAR 徽标: )

重新混合多幅图像

将两幅图像混合在一起

ControlNet 模型通过地图添加特定条件来增强生成工作流程,提供对结构和设计的无与伦比的控制。

类型:深度模型:利用深度图来引导透视和结构。Canny 模型:使用 Canny 边缘图进行基于轮廓的调节。所需输入:一张图像、一个文本提示和一个深度或精明边缘图。输出:生成的图像严格遵循提供的结构并遵守提示。

来源:AI视频深度学习研究

相关推荐