掘金 人工智能 07月08日 18:18
ComfyUI-v0.3.43本地部署教程:新增 Omnigen 2 支持,复杂图像任务一步到位!
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

ComfyUI v0.3.43是基于节点工作流的Stable Diffusion图形界面工具的最新版本,此次更新重点在于提升模型兼容性、性能稳定性及用户体验。新版本集成了Flux Kontext与Omnigen 2模型,支持高精度图像风格迁移、多模态内容生成等任务。同时,VAE编码进行了优化,提升图像生成一致性与细节。性能方面,修复了Kontext内存占用计算错误,并增强了异步队列系统,在复杂工作流中生成速度提升约20%。此外,文章还详细介绍了ComfyUI的部署、模型下载、以及拓展插件的安装方法。

🖼️ **模型支持扩展:** ComfyUI v0.3.43 集成了 Flux Kontext 和 Omnigen 2 模型,允许用户通过节点直接调用,实现高精度图像风格迁移和多模态内容生成等复杂任务。例如,Flux Kontext 支持“分步编辑”和“明确保留”原则,用户可以精准控制图像元素。

⚙️ **VAE 编码优化:** 修复了 VAE 编码时自动添加微小随机噪声的问题,提升图像生成的一致性和细节还原度,尤其对依赖精确潜在空间操作的工作流(如超分辨率修复、多阶段融合)具有重要意义。

🚀 **性能与内存管理:** 针对 Flux Kontext 模型的内存占用计算错误进行修正,优化显存分配逻辑。异步队列系统增强,仅重新计算工作流中发生变化的节点,减少冗余操作。在复杂工作流中,生成速度提升约 20%,结合智能内存管理,支持 1GB 显存 GPU 运行。

📦 **部署与拓展:** 提供了ComfyUI的详细部署流程,包括克隆、conda环境搭建、pytorch安装、项目依赖安装等步骤。此外,还介绍了模型下载、工作流下载以及manager管理器、界面汉化插件和中文提示词插件的安装方法,方便用户个性化定制。

一、介绍

ComfyUI-v0.3.43 是基于节点化工作流的 Stable Diffusion 图形界面工具的最新版本,专注于提升模型兼容性、性能稳定性及用户体验。以下是核心更新内容:

模型支持扩展

Flux Kontext 与 Omnigen 2 集成

新增对 Flux Kontext(基于扩散模型的图像编辑工具)和 Omnigen 2 模型的官方支持。用户可通过节点直接调用这些模型,实现高精度图像风格迁移、多模态内容生成等复杂任务。例如,Flux Kontext 支持 “分步编辑” 和 “明确保留” 原则,允许用户通过文本指令精准控制主体颜色、背景或文本元素。

VAE 编码优化

修复了 VAE(变分自编码器)编码时自动添加微小随机噪声的问题,提升图像生成的一致性和细节还原度。这一改进尤其对依赖精确潜在空间操作的工作流(如超分辨率修复、多阶段融合)具有重要意义。

性能与内存管理

Kontext 内存估计修复

针对 Flux Kontext 模型的内存占用计算错误进行修正,优化显存分配逻辑。实测在处理 1024x1024 分辨率图像时,显存占用降低约 15%,显著缓解了高配置需求场景下的资源压力。

异步队列系统增强

优化执行逻辑,仅重新计算工作流中发生变化的节点,减少冗余操作。结合智能内存管理(支持 1GB 显存 GPU 运行),在复杂工作流(如包含 ControlNet、LoRA 和超网络)中,生成速度提升约 20%。

二、容器构建说明

1. 部署ComfyUI

(1)使用命令克隆ComfyUI
git clone https://github.com/comfyanonymous/ComfyUI.gitcd ComfyUI
(2)安装 conda(如已安装则跳过)

下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境,可以输入 conda --version 进行检。下面是 Mimiconda 的安装过程:

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh

按 Enter 键查看许可证条款,阅读完毕后输入 yes 接受条款,安装完成后,脚本会询问是否初始化 Conda 环境,输入 yes 并按 Enter 键。

(3)创建虚拟环境

输入下面命令:

conda create -n comfyuiconda activate comfyui
(4)安装pytorch
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
(5)安装项目依赖
pip install -r requirements.txt

此时所需环境就已经搭建完成,通过下面命令进行启动:

python main.py

访问网址得到类似下图界面即表示成功:

2. 下载模型

(1)如:下载模型SD3

访问 Hugging Face 搜索“stable-diffusion-3-medium”下载 Stable Diffusion 3 的相关模型。首次访问该页面时,可能需要同意用户协议才能看到模型下载页。

官方提供了4个模型:

①由名字可以看出模型“sd3_medium”不带任何文本编码器,因此要使用的话需要下载 text encode 文件夹下的四个文件;

②模型“sd3_medium_incl_clips”可以直接生成图像,但不包含 T5xxlf的的文本编码器,所以性能会稍微差一些,但是需要的资源配置也会比较少;

③另外两个大模型类似v1.5 和 XL,可以直接用于图像生成。区别在于 T5xxlf编码器的浮点数不同,理论上 15GB 的stable-diffusion-3-medium的模型对语义的理解效果最好,但也最耗资源。

将合适自己的模型下载到 ComfyUI/models/checkpoint下。注:如果选择了不带clip的模型,则需要搭配 text_encoders中的文件,下载到 ComfyUI/models/clip文件下

(2)下载工作流

需下载图中的文件夹,这是官方提供的工作流。有三个,分别是:基础工作流、多提示词工作流和放大工作流。

重新启动模型导入工作流即可开始comfyui探索之旅

3. 拓展插件安装(可选)

(1)下载manager管理器

manager 是一个用来加强ComfyUI可用性的扩展,提供了对ComfyUI各种自定义节点的安装、删除、禁用、启用等管理功能。同时还提供了中心功能和便利功能,用来访问 ComfyUI 中各种信息。

cd /ComfyUI/custom_nodesgit clone https://github.com/ltdrdata/ComfyUI-Manager.git

成功安装之后重启界面会出现一个“Manager”如图:

(2)界面汉化插件
git clone https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation.git

下载文件之后需要重新启动,重启模型之后

设置一次之后可点击图中进行语言的切换:

(3)中文提示词插件安装
cd /ComfyUI/custom_nodesgit clone https://github.com/thisjam/comfyui-sixgod_prompt.git

然后重启ComfyUI后看到下图的小标志就表示可以了:

使用方法:双击页面,在搜索框中搜索“six”即可出现,点击sixGodPrompls,此时出现的就是提示词的中文输入框可以替代自带的clip输入框,可点击左下角的小标或按“AIT”+“q”打开和隐藏。

使用方法如下:

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

ComfyUI Stable Diffusion AI图像生成 节点工作流
相关文章