Skip to content
AI SI Daily
English

搜索全站

↑↓ 选择 · Enter 打开 · Esc 关闭

○ 工具介绍

ComfyUI 入门指南:核心功能与快速上手全解析

一文了解模块化节点式 AI 内容创作引擎 ComfyUI,全面掌握其运行原理、功能特性与本地部署上手途径。

AI SI Daily 编辑部
这是一篇工具介绍:内容整理自官方网站、官方文档和 GitHub README,本站未对其做实测。功能和价格以官方页面为准,来源见文末。

是什么

ComfyUI 是一款专为生成式扩散模型设计的模块化图形用户界面(GUI)、应用程序编程接口(API)与后端执行引擎。它摒弃了传统的表单化控制面板,将复杂的计算流程整合为无限视觉画布上的交互式节点图。在这一工作空间中,被称为“节点”的独立功能模块各司其职,分别负责加载神经网络权重、处理文本提示词、执行数学调整,或是将潜在表示解码为最终画面。用户通过虚拟连线将各个节点串联起来,从而精确控制整个生成环节中的数据流动。

要深入理解其系统架构,熟悉几项基础的 AI 概念大有裨益。扩散模型通过逆转渐进式的数据降噪过程来生成媒体内容,逐步将随机噪声重塑为结构完整的图像、声音或视频;权重模型(Checkpoint)是包含模型已训练参数与权重的庞大整合数据文件;潜在表示(Latent representation)是媒体内容的压缩数学描述,需要通过变分自编码器(VAE)等专用解码器,才能还原为肉眼可见的媒体文件;显存(VRAM)位于显卡之上,是专用的高速存储介质,而系统内存(RAM)则位于计算机主板上。

在系统资源管理方面,ComfyUI 采用了局部计算图重新执行、模型动态分流卸载以及异步队列机制。由于引擎能够实时追踪哪些节点被修改过,因此在迭代调整时,它只会重新计算参数或连线发生变动的部分,有效节省了计算开销。

根据项目 README 说明,ComfyUI 自称是“全球速度最快的本地推理引擎”,并且是“迄今为止针对消费级本地硬件优化最为极致的扩散模型推理引擎”。该软件支持在 Windows、macOS 和 Linux 操作系统上作为桌面客户端、独立便携免安装包或通过源码手动安装本地运行,同时也通过 Comfy Cloud 提供托管云服务。项目的仓库元数据表明,该核心软件基于 GNU 通用公共许可证 v3.0(GPL-3.0)开源协议发布。

能做什么

ComfyUI 原生支持多种生成式媒体模态,涵盖静态图像、动画与视频、合成音频、多模态组合、3D 几何建模以及语言生成。它不局限于单一模型架构,能够跨领域调度极其丰富的开源模型。

在文本生成图像与图像编辑方面,平台原生支持的模型包括 Stable Diffusion 1.5、SDXL、SD3.5、Flux.1、Flux.2、Qwen Image、Z-Image、Hunyuan Image 2.1、HiDream、Lumina Image 2.0、Chroma、Anima、LongCat Image、Ideogram 4、Krea 2、MageFlow、Microsoft Lens、PixelDiT、Kandinsky 5 和 Ernie Image。在专门的图像编辑与微调任务中,支持的框架涵盖 Flux Kontext、Flux.2 Klein、Qwen Image Edit、HiDream E1.1 与 O1、OmniGen2、Boogu、JoyImage Edit、MageFlow Edit 以及 LongCat Image Edit。

在视频生成领域,该引擎兼容 Wan 2.1 和 2.2、LTX-Video 2 和 2.3、HunyuanVideo 1.5、Kandinsky 5 Video、CogVideoX、Cosmos Predict2、Bernini-R、SCAIL 2 及 Mochi 等模型。音频制作支持 ACE-Step 1.5、Stable Audio 3、MiniMax Music 3 和 Yue 2;视音频联合生成支持 MiniMax H3 与 LTX-AV。在 3D 视觉、深度分析和空间建模领域,ComfyUI 支持 Hunyuan3D 2.1、TripoSplat、SeedVR2、SUPIR、Depth Anything 3、MoGe、SAM 3 和 3.1、RT-DETRv4 以及 BiRefNet。此外,平台还能借助 Gemma 3 和 4、Qwen3、Qwen3.5、Qwen3-VL 等模型处理自然语言与多模态任务。

除了基础模型推理之外,ComfyUI 还集成了大量专用节点,可用于图像局部重绘(Inpainting)、画面向外扩展(Outpainting)、参考条件控制、图像合成、模型融合、高清放大、补帧插值、深度估计与语义分割等。其中,局部重绘指重新生成或修改现有图片的指定蒙版区域,向外扩展则是将画面向外部空白区域延伸。用户既可以加载完整的模型文件,也可以拆分加载模块化组件,例如单独的文本编码器、VAE、LoRA(低秩适应模型)、ControlNet 以及各类适配层权重。

在画布上搭建的工作流可以保存、导出,并以轻便的 JSON 文件形式共享。由于生成元数据和随机种子可以直接嵌入到输出文件中,用户只需将生成的图像或视频拖拽回 ComfyUI 画布,即可直接还原完整的工作流。针对复杂的生产流程,内置的 App Mode(应用模式)可以将繁琐的节点布局收折为简洁直观的操作界面。据官网介绍,ComfyUI 还配备了 Comfy Agent,这是一个自动化智能助手,能够根据自然语言描述在画布上自动规划、搭建并运行工作流。

ComfyUI 专为完全离线运行而构建,核心框架在未经用户主动触发的情况下绝不会下载外部资源。为了确保运行环境与在线网络服务彻底隔离,用户可以在启动程序时添加 --offline 命令行参数,该参数会在保留本地离线功能的同时禁用可选的付费 API 节点;也可以使用 --disable-partner-nodes 停用外部合作伙伴集成。同时,平台还兼顾高端数字图像标准,支持 16-bit PNG、32-bit EXR 和 10-bit AVIF 等高位深格式,以及 HDR 图像与视频输出。

怎么开始

用户可以根据自身的操作系统、技术熟练程度以及硬件配置,在多种安装部署途径中进行选择。

对于追求便捷体验的 Windows 和 macOS 用户,项目文档推荐直接从 Comfy 官方网站下载桌面应用程序,这是最轻松的上手方式。

偏好命令行的用户,则可以通过 Python 包管理器,借助官方提供的 comfy-cli 工具进行安装与初始化:

pip install comfy-cli
comfy install

针对不想改动系统底层 Python 环境的 Windows 用户,项目提供了独立的 7z 免安装便携包,分别适配 NVIDIA、AMD、Intel 显卡以及仅 CPU 运行的硬件环境。下载压缩包后,使用 7-Zip 或 Windows 资源管理器解压,运行其中的可执行文件即可启动。模型权重文件需放置在 ComfyUI\models\checkpoints 目录下,VAE 文件则放入 models/vae。如果需要与其他生成式 AI 软件共享模型库以避免重复占用存储空间,只需将配置模板重命名为 extra_model_paths.yaml,并在其中配置自定义的模型文件夹路径即可。

若选择在 Windows 或 Linux 上手动安装,需要克隆官方 Git 仓库并配置相应的 Python 环境。项目核心代码对 Python 3.13 提供了良好支持,Python 3.12 则是解决某些自定义节点依赖冲突时的稳定替代方案。Python 3.14 同样可以运行,不过当第三方组件启用全局解释器锁(GIL)时,自由线程构建版本可能会遇到依赖问题。

根据项目 README 说明,PyTorch 2.7 为基础运行版本要求,但强烈建议安装较新的版本;针对 NVIDIA 20 系列及更新的显卡,则必须配合基于 CUDA 13.0 或更高版本的 PyTorch 环境。

对于 NVIDIA 显卡硬件,安装稳定版 PyTorch 的命令为:

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu130

安装 NVIDIA 每日构建版(nightly)的命令为:

pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu132

若遇到报错提示当前的 PyTorch 编译版本未启用 CUDA 支持,项目文档指导用户先卸载已有环境:

pip uninstall torch

卸载完成后,再使用对应的 NVIDIA 安装命令重新安装即可。

对于在 Linux 环境下使用 AMD 显卡的用户,可通过以下命令安装稳定的 ROCm 适配版本:

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm7.2

对于在 Windows 环境下使用支持 ROCm 10.0 的 AMD 显卡用户,多架构适配包的安装命令为:

pip install --index-url https://stable.repo.amd.com/rocm/whl-next/ "torch[device-all]==2.13.0+rocm10.0.0" "torchvision[device-all]==0.28.0+rocm10.0.0" "torchaudio==2.11.0.2+rocm10.0.0"

对于在 Windows 和 Linux 下使用支持 XPU 加速的 Intel Arc 显卡,安装原生 PyTorch 的命令为:

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/xpu

程序启动后,用户可以通过内置快捷键在画布中进行高效操作:按住 Space 空格键并拖拽鼠标可平移视图;双击鼠标左键可呼出快速搜索框添加新节点;按下 Ctrl + Enter(macOS 上为 Cmd + Enter)可将当前流程加入生成队列;按下 Ctrl + S 即可保存当前工作流。

价格与门槛

根据代码仓库的元数据记录,ComfyUI 是一款在 GNU 通用公共许可证 v3.0(GPL-3.0)协议下发布的开源项目。核心应用程序,包括桌面客户端以及独立的本地便携包,均可免费下载并在个人硬件上本地运行,没有任何软件授权费用。

至于云端托管、API 接口、开发者平台功能以及企业级基础设施,其具体价格与方案请以官方页面为准。项目官网指出,Comfy Cloud 为需要云端托管环境的用户提供了试用选项。此外,官网还提到 Comfy 是 MiniMax 商业授权的官方分销商,可为在本地自有硬件上运行 MiniMax 模型的团队提供商用授权许可。

硬件门槛因所运行模型的具体规模而异。ComfyUI 支持 NVIDIA、AMD、Intel 显卡、Apple Silicon 芯片,也支持仅靠 CPU 运行。根据项目 README 的说明,得益于异步权重流式传输对 GPU 利用率的充分优化,ComfyUI 即使在最低 4GB 显存和 8GB 内存的硬件配置下,也能相对流畅地运行目前体量最大的开源模型。

软件门槛方面,手动部署需要 64 位 Python 环境(推荐 Python 3.13)以及兼容的 PyTorch。尽管最低版本要求为 PyTorch 2.7,但 README 建议更新安装已超过六个月的 PyTorch,并特别指出针对 NVIDIA GeForce RTX 20 系列及更新显卡,必须使用 CUDA 13.0 或更高版本的运行环境。

适合谁

ComfyUI 专为对生成式 AI 流程有精细化控制需求的数字艺术家、视觉特效专家和设计师量身打造。由于处理节点、蒙版、潜在表示以及各项数学参数均在开阔的画布上一览无余,创作者能够随心所欲搭建多阶段定制工作流,彻底突破传统文本提示词界面的局限。

该软件同样非常适合开发者、技术总监以及流程工程师。在可视化编辑器中搭建的工作流可以保存为子图,或直接通过 API 接口导出,方便无缝集成到外部自动化生产工具中。根据官方网站介绍,ComfyUI 已在诸多商业领域得到广泛应用,包括影视特效与动画制作、广告与创意设计工作室、游戏开发,以及电子商务和时尚视觉设计等。

替代品

InvokeAI 是一款开源创意引擎与用户界面,专为借助生成式扩散模型创作视觉媒体而设计。

Stable Diffusion WebUI 是一款广受欢迎的开源网页端界面,主要用于运行和管理基于扩散模型的图像生成工作流。

来源

同类推荐