这次我们来看一个很多刚接触 AI 绘画的同学都会遇到的问题ComfyUI 和本地部署的 AI 生图模型到底怎么组合使用才顺手。ComfyUI 本身不是一个模型它不是画图的那个“大脑”它更像是一套节点式工作流环境负责把提示词、模型、采样器、输出节点连接起来。真正决定出图质量的是你本地部署的模型文件比如 Stable Diffusion 系列、SDXL 或 FLUX 系列。把两者放在一起你就得到了一套完全跑在自己机器上的生图系统不依赖在线服务也不受社区站点的排队和数量限制。这件事最值得关注的点有三个第一ComfyUI 是开源项目模型文件和节点生态非常丰富第二本地生成意味着图片不出本机隐私和版权可控性更好第三ComfyUI 支持接口调用和批量任务完全可以接进自己的工作流做成一个简单的生图服务。门槛方面建议先确认自己的显卡能跑什么量级的模型。低显存显卡可以跑更轻量的模型高显存显卡再考虑 SDXL 或更高精度的模型不要在没确认显存的情况下直接把大模型全部塞进去。这篇文章会从环境准备开始带你把 ComfyUI 跑起来下载模型完成第一次文生图再继续测试图生图、LoRA、批量任务和 API 调用最后给出资源占用观察方法和常见问题排查表。这篇文章适合两类读者一类是想在本地尝试 AI 生图、但对工作流还不熟悉的新手另一类是已经用过在线生图工具、想迁移到本地做批量和二次开发的工程师。你可以按顺序读也可以从对应的章节直接跳转。1. ComfyUI 本地部署 AI 生图模型核心能力速览先说结论在 ComfyUI 上跑本地部署的 AI 生图模型具备完整的文生图、图生图、局部重绘、多模型组合和自定义工作流能力并且原生提供了 HTTP API 接口。具体使用体验还是取决于你的硬件和模型选择。能力项说明项目类型开源节点式 AI 图像生成工作流平台是否集成模型否ComfyUI 只提供运行环境需单独下载本地生图模型核心功能文生图、图生图、局部重绘、图像放大、LoRA、ControlNet 等启动方式一键整合包启动 / Python 源码启动 / Docker 启动浏览器访问默认通过本地 WebUI 操作通常端口为 8188显卡要求NVIDIA 显卡优先具体显存取决于模型和优化参数CPU 推理可以运行但速度较慢只适合功能验证API 接口原生提供/prompt、/history、/view等接口批量任务支持队列式批量生成可通过 API 提交多个任务模型目录模型通常放在models/checkpoints、models/loras、models/vae等目录自定义扩展支持安装自定义节点功能扩展能力很强适合场景本地内容生产、风格测试、批量出图、工作流自动化以下是需要重点理解的边界ComfyUI 是一个开放平台真正影响出图质量和速度的是模型文件、采样步数、分辨率参数以及你显卡的实际能力。没有哪个整合包能让你下载后直接变成“万能出图神器”正确做法是先跑通一套最小工作流再逐步加功能。2. 适用场景与使用边界2.1 适合谁使用本地部署 AI 生图模型最直接的受益者是内容创作者。自己做配图、做封面、做素材参考不需要每次打开在线生图网站排队也不会频繁遇到“高峰时段服务繁忙”的问题。第二个适合场景是隐私敏感的数据处理。设计稿、内部产品图、用户素材如果走本地生成图片不会上传到第三方服务器适合企业内部做原型验证和素材预生产。工程师会更容易上瘾的是 ComfyUI 的 API 和批量任务能力。你可以把 ComfyUI 当成一个本地的生图后端写脚本读取提示词文件批量生成多张图再把结果统一归档。这样就不需要人工一张张点“生成”出图效率会稳定很多。做 AI 工作流研究和课程内容的用户也适合因为 ComfyUI 的节点式结构把每一步展现得很清楚方便教学和复盘。2.2 不适合的场景与合规边界如果只是想快速生成一张效果图、不关心过程也不准备做批量那么直接用在线工具可能更省时间。ComfyUI 的第一道门槛是模型管理和节点连接虽然不算难但至少需要你愿意花时间把工作流跑通。第二个不适合的场景是硬件特别受限的机器。如果没有独立显卡只靠 CPU 推理生成一张图可能要等很久体验会明显变差。这里必须提醒合规边界。本地部署不意味着可以随意使用素材和生成内容。用于生成参考图片的素材、人脸图片、品牌 Logo、受版权保护的画作都需要确认有权使用。如果是人像生成、图片替换、声音或视频合成必须取得当事人和相关权利人的明确授权。任何人不得用本地模型批量生成虚假信息、伪造肖像或用于侵权、欺诈等非法用途。工具本身是中性的使用方式不能越界。3. ComfyUI 本地部署 AI 生图模型环境准备3.1 硬件基础检查先判断机器当前的硬件情况。显卡是影响生图速度和分辨率的直接因素一般优先看显存。显存较低时可以用更轻量的模型或开启低显存优化显存较高时可以尝试大模型和高分辨率参数。这里不写死某个显存数字是因为不同模型、不同采样参数之间的显存占用差异很大实际占用需要在你的机器上跑一次才能确定。Windows 上可以打开命令提示符或 PowerShell执行以下命令查看显卡信息和驱动情况nvidia-smi如果能看到显卡型号和 Driver 版本说明 NVIDIA 驱动已经安装。接着检查 Python 环境python --versionComfyUI 最近大量使用 PyTorch 做模型推理Windows 端建议使用 Python 3.10 或 3.11 版本。具体的 Python 版本范围以你下载的 ComfyUI 官方源码中的依赖说明为准这里不需要先装最新版 Python因为部分依赖对过新的 Python 版本兼容性不一定好。3.2 CUDA 与 PyTorch 环境如果你采用整合包方式CUDA 和 PyTorch 通常已经被整合进运行时不需要自己单独配置。如果你采用源码方式运行就需要确认 PyTorch 版本和显卡驱动是否匹配。一般建议先安装 NVIDIA 官方最新驱动再安装与 CUDA 版本匹配的 PyTorch。具体命令可以参考 PyTorch 官方安装页这里不做命令搬运因为不同机器的 CUDA 版本和系统环境不一样。Linux 环境下还可以使用nvidia-smi查看 CUDA Version这个数值代表驱动支持的最大 CUDA 版本不代表 PyTorch 实际编译使用的版本。更稳妥的做法是安装完 PyTorch 后在 Python 里执行一段小测试代码import torch print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name(0))如果torch.cuda.is_available()返回False说明 PyTorch 没识别到显卡需要检查驱动和 PyTorch 的安装版本这一步不应跳过。本地部署 AI 生图模型最怕的就是环境没对齐模型下载好之后一直报 torch CUDA 错误。3.3 磁盘空间与目录规划生图模型文件通常不小尤其是高精度模型几个 GB 到几十 GB 都有可能。开始部署前要确认磁盘剩余空间充足建议至少预留 20GB 以上空间用来存放 ComfyUI 程序、模型文件、自定义节点以及输出图片。更稳妥的做法是先规划一个统一的目录例如ComfyUI/程序主目录ComfyUI/models/checkpoints/主模型文件ComfyUI/models/loras/LoRA 模型文件ComfyUI/input/上传的测试图片ComfyUI/output/生成结果这样做的好处是模型和产物分开以后找图、备份、清理都会方便很多。项目目录结构不用自己盲目创建ComfyUI 首次启动后会自动生成必要目录。4. ComfyUI 安装部署与一键启动方式4.1 使用社区一键整合包启动对新手来说社区的一键整合包是目前最快的方式。这类整合包把 Python 环境、PyTorch、ComfyUI 源码和常用依赖提前打包好了解压后寻找启动脚本即可。比如常见的秋叶一键整合包目录里通常有一个“启动 ComfyUI.bat”之类的脚本双击运行后等待控制台输出本地访问地址再用浏览器打开即可。整合包的优势是环境隔离不容易弄乱系统 Python也省去自己装 CUDA 和 PyTorch 的时间。要注意的是整合包版本更新有一定滞后如果你之后需要安装新的自定义节点仍然需要手动操作或者依赖整合包自带的包管理器。用整合包启动后浏览器地址栏通常输入http://127.0.0.1:8188如果本机 8188 端口已经被占用ComfyUI 控制台会提示端口冲突需要换一个端口启动。4.2 使用源码方式安装部署如果你想自己控制版本或者准备做二次开发源码方式更合适。这种方式也更适合团队统一部署和版本更新。下面是通用安装流程具体命令应当根据你实际操作时拉取到的源码目录进行调整。# 拉取 ComfyUI 源码实际仓库地址以项目官方页面为准 git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI # 创建虚拟环境避免影响系统 Python python -m venv venv # Windows 环境进入虚拟环境 venv\Scripts\activate # Linux/macOS 环境进入虚拟环境 # source venv/bin/activate # 安装依赖实际依赖列表以项目根目录 requirements 为准 pip install -r requirements.txt依赖安装完成后在项目根目录启动服务python main.py默认情况下ComfyUI 会监听本机 8188 端口。如果需要修改端口可以带参数启动python main.py --port 8188参数的具体名字和是否可用也以当前 ComfyUI 版本的帮助信息为准。你不确定时可以先用python main.py --help查看支持的启动参数。4.3 Docker 方式部署思路Docker 部署适合 Linux 服务器或需要快速复现的工作环境。这类方案的优势是环境打包完整换一台机器也能快速启动。但 Docker 部署通常需要额外配置显卡直通复杂度比本地一键包高。如果你是第一次接触 ComfyUI不建议从 Docker 开始。等你对模型目录、自定义节点和 API 调用都比较熟悉后再考虑把工作流容器化会顺利很多。4.4 首次启动与登录检查启动成功后终端会输出类似Starting server的日志并列出访问地址。浏览器打开后应该能看到节点画布界面。在没有任何模型文件的情况下默认工作流不完整因为加载模型节点会报错。这一步先不要急着改配置先把模型文件放到对应目录再回到 WebUI 点击刷新。5. 本地生图模型下载与目录管理5.1 模型类型选择ComfyUI 本身不限制模型种类只要能搭配对应节点就能跑。目前常见的本地 AI 生图模型有几种类型模型类别特点显存观察建议轻量级基础模型文件较小适合低显存和快速测试低显存机器优先考虑SDXL 模型在细节、构图和文字表现上通常有提升建议先按官方推荐显存验证高精度新模型效果更强对显存和内存要求更高先确认硬件条件再下载避免浪费磁盘LoRA 扩展模型不单独出图需配合基础模型使用文件很小但会额外占用少量显存以上只是给新手一个判断思路具体的模型名称、下载链接和推荐显存要以模型发布页为准。不要根据文件名猜模型可用性很多同名模型存在不同版本、不同精度的差异。5.2 模型放入目录下载完成后把主模型文件放进models/checkpoints目录。LoRA 模型放入models/loras目录。VAE 文件如果需要单独使用一般放在models/vae目录。放好之后回到 ComfyUI WebUI点击模型加载节点右侧的下拉框选择刷新它对应的文件列表。这里建议整理文件时直接给模型命名不要保留一长串临时下载名称。写清楚模型类型和用途比如使用日期、底模类型、是否量化这样批量测试时不会找错文件。整理代码示例# 把模型移动到 ComfyUI models/checkpoints 目录 mv ~/Downloads/example_model.safetensors ComfyUI/models/checkpoints/5.3 使用最小模型完成启动验证第一次部署不建议直接下载一个大模型然后开始精调。先用一个体积较小、启动最快的模型跑通链路确认 ComfyUI 能正常加载模型、执行采样和输出图片。链路跑通之后再替换成你想要的主力模型这样后续排查问题时你能判断问题出在模型文件还是工作流环境。6. ComfyUI 工作流功能测试与效果验证6.1 文生图测试流程启动 ComfyUI 后首先进行基础文生图测试。点击界面右侧的面板加载一个基础工作流。多数情况基础工作流已经包含了模型加载、提示词编码、采样器、解码和图像保存节点。你需要确认以下几点模型加载节点指向已放入的 checkpoint 文件正面提示词写清楚画面内容采样器参数选择默认值或该模型的推荐参数图像输出尺寸不要一开始就设得过高点击 Queue Prompt 按钮执行生成操作步骤可以这样理解先在节点画布中双击搜索“Load Checkpoint”添加模型加载节点再添加“CLIP Text Encode”节点分别写正向和负向提示词接着添加“Empty Latent Image”创建画布大小用“KSampler”控制采样过程最后通过“VAE Decode”和“Save Image”把结果保存到本地。节点之间的连线方式与模型类型有关较新的模型会有专门的工作流模板因此最稳妥的方式是先从官方示例或社区分享的工作流开始不要盲目手动接线。输入示例可以写得比较简单正向提示词: a modern house in the mountains, morning light, clean composition 负向提示词: low quality, blurry, watermark点击执行后等待采样进度条走完。如果output目录出现新的 PNG 图片说明第一次生成成功了。判断标准不是画面好看而是采样器没有报错并且图片可以正常保存。6.2 图生图与局部重绘测试测试完文生图下一步建议测试图生图。把一张本地图片拖入 ComfyUI 画布系统会创建 Load Image 节点。将该节点的图片输出连接到采样器的 Latent 输入但需要先用 VAE Encode 将图像转为潜空间表示。图生图的核心是控制重绘幅度你可以在采样器参数或专用节点中调整 denoise 强度。数值越低结果越接近原图数值越高画面变化越大。局部重绘稍微复杂一点需要在图上画蒙版然后使用蒙版节点将原图和重绘区域组合在一起。这个功能适合修复图片局部、换背景、添加物体或调整服饰。测试时可以用一张构图简单的图框选想要改变的局部区域观察模型是否只改变蒙版区域而不破坏其他位置。常见失败原因有两个一是蒙版节点连接错误二是 denoise 强度不合理导致整张图被重绘。6.3 LoRA 风格控制测试LoRA 是一种轻量化的模型微调方案通常用于固定人物、固定画风或固定物体特征。使用 LoRA 时需要在 ComfyUI 中加入 Load LoRA 节点并把它加载到主模型与 CLIP 之间。加载完成后工作流会多出一个 LoRA 强度参数一般从 0.6 到 0.9 之间开始测试。测试 LoRA 时建议保持其他参数不变只修改 LoRA 强度分别输出 0.5、0.7、1.0 等几组结果对比画面风格被影响的程度。如果强度过高通常会出现过度拟合、色调异常或细节崩坏。测试结束后把当前跑通的工作流保存为一个 JSON 文件方便后续复用。6.4 效果验证与结果判断每次测试完都要养成记录参数的习惯。提示词、采样步数、CFG、分辨率、模型名称、LoRA 强度这些参数会在后续批量任务里反复用到。效果验证不能只看一张图建议每组参数生成 2 到 4 张图观察稳定性。生图模型本身带有随机性单张效果优秀不代表整套工作流可靠。如果出现全黑图、全绿图、花屏、满屏噪点等情况优先检查 VAE 和节点连线是否正确而不是急于调整提示词。如果模型加载报错检查 checkpoint 路径和文件名。如果一张图生成耗时过长优先降低分辨率和采样步数。7. ComfyUI API 接口与批量任务测试7.1 构造 API 工作流ComfyUI 支持把界面中的工作流保存成 API 格式。在 WebUI 里先打开开发者模式的选项然后右键画布空白处选择导出 API 格式会得到一个 JSON 文件。这个 JSON 里的节点结构就是后端接口能识别的格式。它和普通工作流 JSON 的区别在于每个节点都暴露了输入输出结构适合程序直接提交。手工拼 API JSON 很容易出错特别是刚接触 ComfyUI 时。推荐做法是先通过界面把工作流调通再用导出 API 格式拿到标准 JSON最后把 JSON 保存进 Python 脚本所在目录。这样后面做批量任务时每次只需要修改提示词或 seed 字段不需要重新接线。7.2 使用 POST /prompt 提交任务ComfyUI 监听本地端口后可以通过 HTTP 接口提交生成任务。下面是一个通用 Python 示例实际字段需要根据你导出的 API JSON 调整import requests import json # ComfyUI 本地服务地址 server http://127.0.0.1:8188 # 读取从 ComfyUI 导出的 API 格式工作流 with open(workflow_api.json, r, encodingutf-8) as f: workflow json.load(f) # 提交生成任务这里一次只提交一个 prompt payload { prompt: workflow, client_id: local-test-001 } resp requests.post(f{server}/prompt, jsonpayload, timeout60) print(resp.status_code) print(resp.json())如果返回内容里包含prompt_id说明任务已经进入队列。ComfyUI 会按顺序执行队列里的任务。你可以在 WebUI 左上角看到排队状态也可以通过代码查询执行历史。7.3 查询生成结果任务执行完成后可以利用返回的prompt_id查询结果import requests server http://127.0.0.1:8188 prompt_id 你上一步得到的 prompt_id history_resp requests.get(f{server}/history/{prompt_id}) history history_resp.json() print(history)返回的 JSON 中通常包含节点输出结果和文件名信息。拿到文件名后再拼接 ComfyUI 的/view接口下载图片。不同的工作流节点输出结构有差异因此要结合你导出的工作流来解析。这部分不需要把接口记死你只需要明白一个基本链路提交任务、查看状态、下载产物。7.4 批量任务设计批量生成任务不需要在代码里多线程并发请求。ComfyUI 本身维护一个任务队列把多个任务依次提交进去即可。为了让任务可跟踪建议每个任务使用不同的client_id并在提交时记录提示词和对应的prompt_id。批量任务建议先在脚本外测试 2 张图确认队列、输出目录和结果获取都正常再扩展到更多张。批量中途遇到某一任务报错ComfyUI 不会中断后续任务但需要在脚本里加入失败重试和日志记录。输出文件名最好也带上任务批次标记例如使用时间戳、任务编号避免大量生成后文件互相覆盖。import requests import json import time import uuid server http://127.0.0.1:8188 with open(workflow_api.json, r, encodingutf-8) as f: workflow json.load(f) prompts [ a cat on the table, a dog in the park, a bird on the tree ] for idx, prompt in enumerate(prompts): # 这里需要根据你的 API 工作流找到提示词节点位置 workflow[6][inputs][text] prompt payload { prompt: workflow, client_id: fbatch-{idx}-{uuid.uuid4().hex[:8]} } resp requests.post(f{server}/prompt, jsonpayload, timeout60) print(ftask {idx}: {resp.status_code}) time.sleep(0.5)这段示例代码重点演示了批量提交思路具体修改哪个节点的text字段要看你导出的工作流 JSON 中提示词节点的编号和结构。不要假设所有工作流都是同一个节点 ID。8. 资源占用与性能观察方法8.1 显存和内存观察跑本地生图模型时显存占用是最值得关注的指标。Windows 上可以用任务管理器查看 GPU 专用显存也可以在命令行运行nvidia-smi实时查看。ComfyUI 控制台也会输出模型加载和采样执行日志有些版本会显示单次提示词执行耗时。观察这些信息的主要目的是判断当前设置是否接近硬件极限。如果发现采样过程中出现CUDA out of memory通常有三条处理路径降低分辨率、降低批量大小、使用量化版模型或更轻量的优化模式。显存占用不是一个固定值它随分辨率、步数、批量数量、模型大小和是否加载 ControlNet、VAE 等情况变化。因此正式跑大量任务前先用当前模型做一次小图测试记录空闲显存、模型加载后显存和采样中峰值显存会更清楚自己的余量。8.2 CPU 推理与 GPU 推理差异支持 CPU 推理是 ComfyUI 的容错能力之一但不代表 CPU 推理适合日常出图。CPU 推理时模型精度可以保持但采样速度要慢很多。对于刚完成环境安装、机器没有可用 GPU 的场景CPU 推理可以用来验证节点流程是否连通但不建议作为生产路径。如果你长时间使用 CPU 生成高分辨率图片还会造成 CPU 占用过高影响同一台机器上其他任务的运行。如果你的启动方式允许传入--cpu之类的参数可以用这类参数做纯 CPU 测试。但这并不是“高性能模式”而是只推荐在无显卡或排障时使用。显卡性能正常时GPU 推理才是默认选择。8.3 如何降低显存占用降低显存占用的主要方法是降低图像分辨率、使用更低批量、减少采样步数以及不使用多余的大模型节点。保持同一张图多次采样时尽量复用已经加载的模型不要让工作流在每一步都重新加载。如果你的显卡显存确实较小可以选择启用低显存优化模式让模型分块加载到显存中。这类优化通常会让单次出图速度变慢但能避免直接爆显存。这里要特别说明不同模型对应不同的推荐显存范围实际占用需要以你的本机测试为准。社区里很多人分享的显存数字只能作为参考不能照搬因为分辨率、步数、seed 都不完全相同。9. ComfyUI 本地部署常见问题与排查方法问题现象可能原因排查方式解决方案启动后浏览器打不开界面服务未启动或端口被占用查看控制台日志执行端口检查命令更换端口或重启服务模型节点提示 File not found模型文件路径不对检查 models/checkpoints 目录和文件名移动模型到正确目录并刷新节点报错缺少某个自定义节点工作流依赖额外节点查看报错里的节点名称在 ComfyUI/custom_nodes 中安装对应节点出现 CUDA out of memory显存不足以运行当前参数监控采样过程中的显存占用降低分辨率、批量或使用低显存模式生成全黑图或绿图VAE 节点缺失或模型文件异常检查 VAE 节点连接和模型文件补上正确 VAE 或重新下载模型提示 No module named xxxPython 依赖未安装检查前后端安装日志安装对应 Python 包并重启API 返回 400提交的 workflow JSON 结构不正确对比 API 格式工作流文档重新导出 API 格式 JSON批量任务中途卡住单个任务卡死或磁盘写入缓慢查看日志中最后一个节点优化任务队列增加超时和重试逻辑端口被占用其他进程占用 8188执行系统端口查询命令用--port指定新端口排查问题不要一上来就卸载重装。先看控制台最后一段报错再定位是模型问题、节点问题还是环境问题。ComfyUI 的报错信息虽然很长但通常会将真正出错的节点和异常类型放在明显位置。命令行日志里会包含 Python traceback把其中带有项目路径的代码行复制到社区搜索往往能找到对应的修复方式。10. ComfyUI 本地部署最佳实践与合规建议10.1 工程化习惯第一次操作不要急着追求复杂效果先保留一套最小可运行配置。文生图工作流、图生图工作流、API 模式工作流分别保存为独立 JSON 文件。这样后续安装新节点或者升级版本时一旦出现兼容问题你随时可以回到之前跑通的版本。模型文件、输入素材和输出结果建议分目录管理。ComfyUI 的output目录会随着测试不断膨胀建议定期清理。批量任务尤其要设计好输出文件命名规则不要把不同批次的结果都混在一起。可以选择时间戳、批次号、seed 等多种标记组合20250201_batch01_seed1001.png 20250201_batch01_seed1002.png使用接口方式启动时默认只绑定本机地址相对安全。如果需要在局域网内提供服务务必要在受控网络环境下开启并给 API 访问加上认证或访问限制。不要直接把 ComfyUI 暴露到公网避免别人通过接口消耗你的显卡资源。10.2 模型来源与合规使用下载模型时尽量从模型官方发布页或可信的平台获取避免从不明渠道下载经过修改的模型文件。入门时可以先下载模型说明和示例工作流理解模型推荐的提示词风格和参数范围。因为不同模型对提示词的响应差异很大盲目使用同一个提示词不能充分发挥模型能力。在内容生成上务必恪守边界。不得使用本地模型处理未获得授权的私人照片不得对人脸进行未经同意的替换或修改不得批量生成侵犯他人肖像权、著作权的内容更不得用 AI 生成的手段制作虚假信息或进行诈骗。无论是个人练习还是公司商用都要在合规前提下操作。遇到涉及品牌、人物、作品的素材确认授权后再放入 Confiture UI 中进行处理。11. 总结与下一步ComfyUI 和本地部署的 AI 生图模型组合起来最大的价值不是省几块钱而是得到了一条可控、可批量化、可编程的生图流水线。你不需要掌握所有节点关键是先让一张图片能稳定产出。第一个应该验证的功能是文生图通过它确认模型加载、采样、VAE 解码和图片保存这条链路是完整的。最容易踩的坑是模型文件放错目录、工作流 JSON 引用了未安装的自定义节点、显存设置过高直接爆显存。下一步可以尝试的方向有很多加载 ControlNet 做姿态和边缘控制用 LoRA 固定画风接入真实场景生成素材或者把 ComfyUI 作为后端服务嵌入到自己的内容生产工具中。开始做批量任务之前先跑通 API 导出工作流的步骤。这个环节一旦通顺后续自动化会非常方便。建议先把这篇教程里的最小流程完整跑一遍再逐步替换成你真正需要的模型和节点。先从一张图开始你的 ComfyUI 本地生图环境就能稳定运行起来。