简介这份资源面向使用 ComfyUI 进行 AI 绘画的进阶用户聚焦 Flux 模型与 ControlNet 的联合应用重点解决边缘、深度、瓷砖、姿态四类引导图在 img2img 图生图流程中的搭配问题。对于希望精准控制画面构图、保留原图结构或实现风格迁移的创作者而言它提供了一套可直接导入的节点配置方案省去从零搭建工作流的调试成本。资源包为 rar 压缩格式内含 1 个 json 文件体积约 4KB该 json 即 ComfyUI 工作流配置文件导入后即可复用预设的 ControlNet 加载、预处理与权重调节逻辑。目前已有 94 人学习下载说明该配置在社区中具备一定参考价值。借助这份工作流读者可以快速理解多 ControlNet 叠加时的参数配合思路掌握边缘与深度引导的差异并在此基础上按需替换模型或调整引导强度从而提升图生图的可控性与出图稳定性。1. 从一张“边缘图”说起Flux 配 ControlNet 到底在控什么很多人第一次把 Flux 和 ControlNet 拼在一起是冲着“照着线稿生成成品图”去的结果跑出来要么完全不理边缘要么画面糊成一团。问题不在模型而在没搞清 ControlNet 到底在控什么。Flux 本身是文生图底模ControlNet 是外挂的条件分支它把边缘、深度、瓷砖、姿态这些结构信息编码成额外条件注入到扩散过程里。换句话说提示词管“画什么”ControlNet 管“长什么样”。边缘图锁轮廓深度图锁前后景层次瓷砖图锁纹理重复规律姿态图锁人体骨架。这四类引导图各有各的适用场景混用或者权重给错就是翻车的开始。这篇笔记拆的是 ComfyUI 里 Flux 搭配 ControlNet 做图生图的完整链路从引导图预处理到节点连线再到参数调优适合已经装好 ComfyUI、想把手里的 Flux 工作流从“随机抽卡”变成“可控出图”的人。2. 四类引导图的预处理边缘、深度、瓷砖、姿态怎么生成2.1 边缘引导Canny 和 Lineart 的选型差异边缘引导是最直观的一类输入一张参考图提取出线条轮廓再让 Flux 沿着这些线条去填充内容。ComfyUI 里常用的边缘预处理器有两个方向Canny 和 Lineart。Canny 走的是梯度检测出来的线比较硬适合建筑、机械、产品这类结构明确的图Lineart 走的是线条提取对动漫线稿、手绘草图更友好线条更柔和不会把阴影也当成边缘。我一般会先跑一遍 Canny看边缘密度。如果线条太碎说明阈值太低把低阈值往上提如果线条断断续续说明高阈值太高适当降一点。Lineart 那边则要注意resolution参数设得太低会丢细节设得太高会引入噪点512 到 768 之间是比较稳的区间。# ComfyUI 中 Canny 预处理节点的关键参数以常用节点为例 # low_threshold: 低于此值的梯度被丢弃控制弱边缘 # high_threshold: 高于此值的梯度被保留为强边缘 # 两者比例通常在 1:2 到 1:3 之间 canny_params { low_threshold: 100, # 默认 100线条太碎就往上加 high_threshold: 200, # 默认 200线条断裂就往下减 image: input_image # 接 Load Image 节点输出 }这段参数不是死的得根据参考图的对比度来调。高对比度的图阈值可以拉高低对比度的图阈值要压低否则提取出来的边缘几乎看不见。实际操作时先把预处理结果接到 Preview Image 节点上看一眼确认线条质量再往下走别直接连到 ControlNet 应用节点上盲跑。2.2 深度引导Depth Anything 与 MiDaS 的精度取舍深度图的作用是告诉 Flux “谁在前谁在后”。ComfyUI 里常见的深度预处理器有 Depth Anything 和 MiDaS 两个系列。Depth Anything 的细节保留更好尤其是人物和物体的边缘深度过渡更自然MiDaS 的速度快一些但在复杂场景下容易出现深度平面化的问题前后景拉不开。选哪个取决于你的参考图复杂度。如果是单人肖像或者简单静物MiDaS 够用如果是多人场景或者前后景层次丰富的风景图建议上 Depth Anything。深度图的灰度值代表距离近处偏白远处偏黑这个映射关系在预处理阶段就定好了后面 ControlNet 的strength参数是在这个基础上做加权不会改变深度关系本身。# Depth Anything 预处理节点参数示例 depth_params { model: depth_anything_v2, # 选 v2 版本边缘过渡比 v1 好 resolution: 1024, # 分辨率越高深度图越细但显存占用也越大 image: input_image } # 输出是一张灰度图近白远黑 # 如果发现深度图整体偏灰检查输入图是否过曝或欠曝深度图跑完之后建议用 Preview Image 看一眼。如果整张图灰蒙蒙的说明输入图的动态范围不够深度模型没法区分远近。这时候要么换图要么在预处理前加一个亮度对比度调整节点把输入图的层次拉开。2.3 瓷砖引导Tile 预处理与纹理重复控制瓷砖引导Tile是四类里最容易被忽略但实际很有用的一类。它的核心逻辑是把参考图切成小块提取纹理特征然后让 Flux 在生成时保持这种纹理的重复规律。适合的场景包括布料纹理、墙面砖块、地板花纹、重复图案的背景。Tile 预处理节点通常会输出一张和原图同尺寸的纹理图但细节被简化成可重复的模式。关键参数是tile_size控制切块的大小。切得太小纹理会被过度简化生成结果失去细节切得太大纹理重复感不强ControlNet 的引导效果就弱了。我一般从 256 开始试根据生成结果微调。# Tile 预处理节点参数 tile_params { tile_size: 256, # 切块尺寸256 是常用起点 overlap: 32, # 块与块之间的重叠像素避免接缝 image: input_image } # 输出是一张纹理图颜色和明暗被保留细节被简化Tile 引导的坑在于如果参考图本身纹理不明显Tile 预处理出来的图会接近纯色ControlNet 拿不到有效信息生成结果就和普通文生图没区别。所以用 Tile 之前先确认参考图有明确的重复纹理否则换其他引导方式。2.4 姿态引导OpenPose 的骨骼提取与手部处理姿态引导主要用在人物生成上OpenPose 是最常用的方案。它从参考图里提取人体关键点生成一张骨架图Flux 根据骨架来摆人物姿势。ComfyUI 里的 OpenPose 节点通常支持 body、hand、face 三个层级的提取可以单独开也可以全开。手部是关键。很多人跑出来的图身体姿势对了手却崩了就是因为 hand 关键点没提取或者权重不够。建议在预处理阶段就把 hand 打开虽然会增加一点计算量但能省掉后面反复重跑的麻烦。另外如果参考图里人物有遮挡OpenPose 可能会漏掉部分关键点这时候要么换图要么手动补点。# OpenPose 预处理节点参数 pose_params { detect_body: True, # 身体关键点必开 detect_hand: True, # 手部关键点建议开 detect_face: False, # 面部关键点按需开 resolution: 768, # 分辨率影响关键点精度 image: input_image } # 输出是一张骨架图彩色线条代表不同部位姿态图跑完后检查一下关键点是否齐全。如果发现某只手只有几个点说明检测失败可以试着调高resolution或者换一张遮挡更少的参考图。3. 在 ComfyUI 里把 Flux 和 ControlNet 接起来节点连线与参数配置3.1 工作流骨架从 Load Checkpoint 到 KSamplerComfyUI 的工作流本质是一张有向图节点之间的连线决定了数据流向。Flux ControlNet 的基础骨架是这样的Load Checkpoint 加载 Flux 底模Load Image 加载参考图预处理节点生成引导图ControlNet Apply 节点把引导图和底模条件合并最后送进 KSampler 采样VAE Decode 出图。这里有个容易搞混的地方Flux 的 ControlNet 应用方式和 SD1.5/SDXL 不太一样。Flux 用的是 DiT 架构ControlNet 的注入点在前向过程的 attention 层所以需要专门的 Flux ControlNet 节点不能直接套用 SD 的 ControlNet Apply 节点。常见做法是用ControlNetApplyAdvanced的 Flux 适配版本或者用社区封装的 Flux ControlNet 专用节点。# 工作流核心节点连线逻辑伪代码表示 workflow { load_checkpoint: {ckpt_name: flux1-dev.safetensors}, load_image: {image: reference.png}, preprocess: {type: canny, low: 100, high: 200}, controlnet_loader: {control_net_name: flux_controlnet_canny.safetensors}, controlnet_apply: { conditioning: clip_text_encode_output, control_net: controlnet_loader_output, image: preprocess_output, strength: 0.8, start_percent: 0.0, end_percent: 1.0 }, ksampler: { model: load_checkpoint_output, positive: controlnet_apply_output, negative: negative_conditioning, steps: 20, cfg: 3.5, sampler_name: euler, scheduler: normal } }这段伪代码的重点在controlnet_apply节点。strength控制引导强度start_percent和end_percent控制引导在采样过程中的生效区间。默认是全程生效但有时候为了让 Flux 在后半程自由发挥会把end_percent设成 0.8 左右让最后几步不受 ControlNet 约束。3.2 ControlNet 权重与起止步长的调参逻辑strength这个参数是调参的核心。设成 1.0引导最强生成结果最贴近引导图但画面容易僵硬设成 0.5 以下引导效果很弱Flux 基本按提示词走ControlNet 形同虚设。我一般从 0.7 到 0.85 之间开始试根据生成结果微调。start_percent和end_percent是很多人忽略的参数。扩散过程的前几步决定构图后几步决定细节。如果希望构图严格跟随引导图start_percent设 0.0让 ControlNet 从第一步就介入如果希望 Flux 在后期有更多自由度去丰富细节end_percent设 0.7 到 0.8让最后 20% 到 30% 的步数不受约束。# 调参对照表基于实际跑图经验 # strength | 效果 # 0.5 | 引导很弱基本看不出 ControlNet 效果 # 0.7 | 引导适中构图跟随但细节有自由度 # 0.85 | 引导较强构图和细节都贴近引导图 # 1.0 | 引导最强画面容易僵硬色彩可能失真 # start_percent | end_percent | 效果 # 0.0 | 1.0 | 全程引导最严格 # 0.0 | 0.8 | 后期放开细节更自然 # 0.2 | 0.8 | 前期也放开构图自由度更高调参没有万能公式得根据引导图类型和期望效果来。边缘引导通常需要较高的strength因为线条信息弱不给足权重 Flux 会忽略深度引导可以适当降低因为深度信息本身比较强姿态引导居中Tile 引导则要看纹理复杂度。3.3 多 ControlNet 叠加顺序、权重分配与冲突处理有时候一张图需要同时用两种引导比如边缘加姿态或者深度加 Tile。ComfyUI 支持多个 ControlNet Apply 节点串联每个节点处理一种引导图输出依次传递。串联顺序会影响最终效果一般把结构约束强的放前面弱的放后面。权重分配是个经验活。两种引导都设 0.8可能会互相打架生成结果两边都不像。常见做法是主引导设 0.8 到 0.9辅助引导设 0.4 到 0.6让主引导主导构图辅助引导补充细节。如果发现冲突严重比如姿态对了但边缘全乱那就降低辅助引导的权重或者调整end_percent让两种引导的生效区间错开。# 多 ControlNet 串联示例 # 第一个 ControlNet边缘引导权重 0.85全程生效 controlnet_1 { control_net: flux_controlnet_canny, image: canny_output, strength: 0.85, start_percent: 0.0, end_percent: 1.0 } # 第二个 ControlNet姿态引导权重 0.5后期放开 controlnet_2 { control_net: flux_controlnet_openpose, image: openpose_output, strength: 0.5, start_percent: 0.0, end_percent: 0.7 } # 两个节点的 conditioning 输出依次串联最后接入 KSampler串联的时候注意每个 ControlNet Apply 节点的conditioning输入要接上一个节点的输出而不是都接同一个 CLIP Text Encode 的输出。否则后面的节点会覆盖前面的引导信息等于白接。4. 避坑与排查Flux ControlNet 跑图时最容易翻车的五个地方4.1 现象生成结果完全不理引导图和普通文生图一样原因通常有三个一是 ControlNet 模型没加载对Flux 用的 ControlNet 和 SD 的不通用加载错了等于没加载二是strength设得太低低于 0.3 基本没效果三是预处理节点输出的图是空的或者全黑ControlNet 拿不到有效信息。解决方法是逐段排查。先看 ControlNet Loader 节点是否成功加载了 Flux 专用的 ControlNet 模型文件名里通常带flux标识再把strength提到 0.8 以上试一次最后用 Preview Image 检查预处理输出如果是全黑或全白说明预处理参数不对回去调阈值或换预处理器。4.2 现象画面出现大量噪点或色块细节崩坏这种情况多半是strength太高加上end_percent设成了 1.0ControlNet 全程强引导Flux 没有足够的自由度去平滑细节。尤其是边缘引导线条信息本身是离散的强引导会让 Flux 在线条附近产生伪影。解决办法是把strength降到 0.7 到 0.8同时把end_percent设成 0.8 左右让最后几步不受 ControlNet 约束。如果噪点集中在特定区域检查引导图对应位置是否有异常比如深度图在某个区域突然从白变黑这种突变会导致生成结果出现色块。4.3 现象显存爆了跑一半报 OOMFlux 本身参数量大加上 ControlNet 的额外计算显存占用比纯 Flux 文生图高不少。如果同时开了多个 ControlNet 或者预处理分辨率设得很高很容易爆显存。解决思路是降分辨率、降 batch size、关掉不必要的预处理层级。比如 OpenPose 的 face 检测如果不需要就关掉深度预处理的分辨率从 1024 降到 768都能省出不少显存。另外ComfyUI 的--lowvram启动参数也有帮助但会牺牲一些速度。4.4 现象多 ControlNet 叠加后两种引导互相干扰前面提过两种引导权重都设很高会打架。但还有一种情况是串联顺序不对弱的引导放在了前面强的放在了后面导致强的覆盖了弱的。比如先接姿态再接边缘边缘的强引导会把姿态信息冲掉。调整方法是把结构约束更强的引导放在串联链的前面弱的放后面。同时给辅助引导设更低的strength和更短的生效区间让它只在前半程起作用后半程交给主引导和 Flux 自己发挥。4.5 现象Tile 引导跑出来和参考图几乎一样没有生成新内容Tile 引导的strength设得太高加上tile_size太小Flux 会把参考图的纹理原样复制而不是基于纹理生成新内容。这不是 bug是参数没调对。把strength降到 0.5 到 0.6同时把tile_size调大一些让纹理特征更抽象Flux 就有更多空间去发挥。另外提示词也要配合如果提示词和参考图内容完全一致Flux 会倾向于复制提示词描述一个不同的场景但保留纹理风格效果会更好。5. 进阶技巧用引导图叠加和分区控制把出图精度再拉一档5.1 引导图叠加把边缘和深度合成一张图单独用边缘或深度信息维度是单一的。把两者叠加成一张图同时包含轮廓和层次信息ControlNet 一次就能拿到更丰富的结构约束。做法很简单在预处理阶段分别跑 Canny 和 Depth然后用 Image Blend 节点按比例混合边缘图占 60%深度图占 40%具体比例看参考图特点。# 引导图叠加示例 blend_params { image1: canny_output, # 边缘图 image2: depth_output, # 深度图 blend_factor: 0.6, # 边缘占 60% blend_mode: normal # 普通混合模式 } # 输出是一张同时包含边缘和深度信息的合成图 # 接入单个 ControlNet Apply 节点strength 设 0.75 左右叠加的好处是省掉一个 ControlNet 节点减少显存占用和计算量。但缺点是两种信息的权重在混合时就固定了后期没法单独调整。如果发现边缘太强或深度太弱得回到混合节点改比例不能像双 ControlNet 那样单独调strength。5.2 分区控制不同区域用不同引导图ComfyUI 支持用 Mask 把画面分区不同区域接不同的 ControlNet 引导。比如人物区域用姿态引导背景区域用深度引导中间用 Mask 过渡。这个做法在复杂场景下很有用能避免全局引导带来的互相干扰。实现方式是用ConditioningSetArea节点配合 Mask把 ControlNet 的输出按区域切分再合并成一个 conditioning。参数上要注意 Mask 的羽化值设得太小会出现硬边设得太大过渡区域会模糊。一般羽化 20 到 50 像素比较自然。5.3 验证方法用固定种子和引导图对比跑一组对照调参最怕的是凭感觉。我的习惯是固定种子同一组提示词和引导图只改一个参数跑四到五张对比图。比如strength从 0.6 到 0.9每 0.1 一档排在一起看差异。这样能快速定位到最佳区间而不是反复盲试。# 对照实验参数组 seeds [42, 42, 42, 42] # 固定种子 strengths [0.6, 0.7, 0.8, 0.9] # 只改 strength # 其他参数全部保持一致 # 跑完后横向对比选出最符合预期的一档对照跑图费时间但比反复试错省事。尤其是多 ControlNet 叠加的场景变量太多不控制变量根本不知道是哪个参数在起作用。从那以后我每次调新工作流都强制走一遍对照实验先把单参数的最佳值定下来再组合调优。希望帮到你。本文还有配套的精品资源点击获取