Stable-Diffusion-V1-5 在ComfyUI中的高级工作流搭建教程你是不是已经玩过基础的文生图感觉效果不错但总想更进一步比如想让生成的人物摆出特定的姿势或者给一张草图就能生成完整的画面又或者让生成的图片分辨率更高、细节更丰富。如果你有这些想法那今天这篇内容就是为你准备的。我们这次不聊基础的安装和简单生图而是聚焦于一个更强大的工具——ComfyUI。它可能没有WebUI那么“开箱即用”但它的节点式工作流设计让你能像搭积木一样精确控制图像生成的每一个环节。想象一下你可以把加载模型、控制姿势、高清修复这些步骤像流程图一样清晰、灵活地连接起来这就是ComfyUI的魅力。接下来我会带你一步步在星图GPU平台上用Stable-Diffusion-V1-5模型搭建一个集成了LoRA风格、ControlNet姿势控制和Latent Upscaler高清修复的进阶工作流。整个过程就像组装一台精密的机器虽然零件多了点但一旦跑通你的创作自由度和作品质量都会上一个新台阶。1. 环境准备与ComfyUI初探在开始搭建复杂工作流之前我们得先把“车间”准备好。假设你已经在星图GPU平台上成功部署了Stable-Diffusion-V1-5的基础环境并且通过WebUI能正常生图。那么ComfyUI的部署通常也非常简单它往往作为一个独立的Web应用存在。1.1 启动与界面熟悉当你通过平台提供的链接或端口访问ComfyUI后首先看到的可能是一个略显“空旷”的界面。中间大片区域是画布左侧是节点工具箱。别被这极简风格吓到它的逻辑其实很直观一切皆节点连接即流程。你可以先尝试从工具箱里拖出一个“Load Checkpoint”节点和一个“KSampler”节点再把它们连起来。加载一个模型简单输入提示词点击“Queue Prompt”就能生成图片。这个最简流程能帮你快速建立信心理解“加载模型 - 采样生成”这个核心链路。1.2 核心节点概念理解在ComfyUI里有几个你一定会反复打交道的核心节点我们先混个脸熟Load Checkpoint: 这是起点负责加载你的大模型比如sd-v1-5.ckpt。它会输出模型本身、CLIP文本编码器和VAE解码器。CLIP Text Encode: 文本编码器。你需要分别连接“正面提示词”和“负面提示词”节点到这里它会将文字转换成模型能理解的向量。KSampler / KSampler Advanced: 采样器。这是图像生成的“发动机”你需要设置采样步数、采样方法如Euler a, DPM 2M、随机种子等参数。VAE Decode: 解码器。采样器输出的是在“潜空间”里的图像Latent Image这个节点负责将其解码成我们能看到的RGB图片。Save Image: 终点站保存生成的图片。理解了这些就等于拿到了搭建更复杂机器的基本零件。接下来我们开始组装第一台“增强型”发动机——引入LoRA。2. 加载与融合自定义LoRA模型LoRALow-Rank Adaptation是一种轻量化的模型微调技术它像是一个“风格滤镜”或“角色插件”能以很小的体积改变大模型的输出风格比如转换成某种画风或者固定生成某个特定人物。2.1 集成LoRA节点在ComfyUI中使用LoRA不需要修改原始大模型。你只需要在合适的位置插入一个“LoraLoader”节点。具体操作是这样的找到“Load Checkpoint”节点输出的“MODEL”连接线。不要将它直接连到采样器而是先连接到“LoraLoader”节点的“model”输入端口。同时将“CLIP”输出线也连接到“LoraLoader”的“clip”输入端口。然后在“LoraLoader”节点上你需要指定两个关键参数lora_name: 从下拉菜单中选择你已放置在ComfyUI的models/loras目录下的LoRA文件例如pixel_art_v1.safetensors。strength_model / strength_clip: 这决定了LoRA对模型和文本编码器的影响强度。通常两者设为相同的值范围在0到1之间。1.0表示完全应用0.5则是半强度应用。对于风格化LoRA可以从0.7开始尝试。最后将“LoraLoader”节点输出的“MODEL”和“CLIP”再连接到后续的采样器等节点。这样你的生成流程就带上了LoRA赋予的特定风格。2.2 多LoRA的叠加使用ComfyUI的强大之处在于你可以串联多个“LoraLoader”节点。比如第一个LoRA负责“盲盒玩具”风格第二个LoRA负责“赛博朋克”色调。只需将上一个Loader的输出作为下一个Loader的输入依次连接即可。需要注意的是多个LoRA的效果是叠加的强度参数需要精细调整否则容易导致画面混乱。通常建议一次不要叠加超过2-3个并且适当降低每个的强度比如都设为0.6。3. 使用ControlNet进行精确姿势控制这是从“随机抽卡”走向“定向创作”的关键一步。ControlNet允许你用一张姿势图、边缘草图或深度图来严格约束生成图像的构图、姿态或景深。3.1 准备ControlNet模型与预处理首先确保你需要的ControlNet模型如control_v11p_sd15_openpose.pth用于姿势检测已经放在models/controlnet目录下。同时你需要一张控制图比如一张人物姿势的简笔画或从照片中提取的骨骼图。在ComfyUI中控制图的处理通常需要一个预处理节点。以OpenPose为例拖入一个“Load Image”节点加载你的姿势参考图。拖入“OpenPose Preprocessor”节点将加载的图片连接进去它就会输出提取到的姿势骨骼图。这个骨骼图就是我们将要使用的“控制条件”。3.2 构建ControlNet工作流分支ControlNet的集成是在主生成流程之外建立一条并行的“控制条件”流水线。加载ControlNet模型从工具箱添加“ControlNetLoader”节点选择你需要的ControlNet模型例如control_v11p_sd15_openpose。应用控制条件添加“Apply ControlNet”节点。这个节点有几个关键输入positive / negative: 这里连接的是已经过CLIP文本编码的提示词向量就是来自“CLIP Text Encode”节点的输出。control_net: 连接“ControlNetLoader”节点输出的模型。image: 连接预处理后得到的姿势骨骼图。strength: 控制强度值越高生成图像越严格遵循控制图。对于姿势通常可以设得高一些比如0.9到1.2。连接回主流程“Apply ControlNet”节点会输出新的“positive”和“negative”。你需要用它们替换掉原来直接输入到“KSampler”的正面/负面提示词向量。这样采样器在生成时就会同时考虑你的文字描述和姿势约束。通过这样的连接你就能让Stable Diffusion在指定的姿势框架内进行创作了无论是复刻一张照片的姿势还是让多个角色保持特定的互动构图都变得轻而易举。4. 集成Latent Upscaler实现高清修复直接生成高分辨率大图如1024x1024以上对显存要求高且容易导致人物畸形、画面混乱。一个更稳健的策略是“先小后大”先快速生成一张低分辨率的小图如512x512确定构图和内容再使用高清修复Hires. fix或放大模型来提升分辨率和细节。4.2 在ComfyUI中连接放大流程ComfyUI的节点化让我们可以清晰地将“初代生图”和“高清放大”分为两个阶段。第一阶段 - 生成潜空间小图你的“KSampler”按照前述流程含LoRA和ControlNet以较低的分辨率如512x512生成一张“潜空间图像”Latent Image。将这个输出连接到一个“VAE Decode”并“Save Image”你就可以先预览小图效果。第二阶段 - 连接放大节点将第一个“KSampler”输出的“LATENT”连接到一个“Latent Upscale”节点。这个节点会将潜空间图像放大指定的倍数例如2倍得到1024x1024。你需要选择放大方法nearest-exact或bilinear是常见选择。第二阶段 - 细节重绘放大后的潜空间图像通常会变得模糊。我们需要一个**第二个“KSampler”**来为它补充细节。将放大后的“LATENT”连接到第二个KSampler的“latent_image”输入。提示词positive/negative可以继续使用第一阶段编码好的向量也可以微调。关键将第二个KSampler的“denoise”参数设置为一个小于1的值如0.2-0.5。这个参数控制“重绘幅度”。值太低如0.2则细节添加少更像单纯放大值太高如0.5则可能改变原图内容。0.3-0.35是个不错的起点。第二个KSampler的步数可以比第一阶段少一些如20步以加快速度。最终输出将第二个KSampler输出的最终潜空间图像连接“VAE Decode”和“Save Image”即可得到高清大图。这种分步操作不仅节省显存、提高成功率还能让你在中间阶段确认效果避免了长时间等待后才发现构图不满意的情况。5. 整合完整工作流与参数调优现在让我们把前面所有的“积木”拼装起来形成一个完整的自动化生产线。5.1 节点连接总览一个整合了上述所有功能的工作流其节点连接顺序大致如下Load Checkpoint (基础模型) | |--- LoraLoader (加载风格/角色LoRA) | |--- CLIP Text Encode (编码提示词) | | | |--- Apply ControlNet (应用姿势控制条件) --- KSampler (第一阶段低分辨率采样) | | | | | | |--- ControlNetLoader Preprocessed Image (控制图输入) | | |--- (另一路) CLIP Text Encode for Negative (编码负面提示词) | |--- VAE | KSampler (Stage 1) --- Latent Upscale --- KSampler (Stage 2, 低重绘幅度) --- VAE Decode --- Save Image看起来连线有点多但每个节点的功能是单一的。在ComfyUI界面上你可以通过拖拽来合理布局让流程从左到右清晰展开。5.2 关键参数调试心得搭建好工作流只是开始微调参数才能出好作品。这里分享几个调试心得ControlNet强度strength对于线条类Canny, Scribble或姿势OpenPose强度可以高0.9-1.2对于风格类如色彩控制强度可以低一些0.5-0.8。LoRA强度strength过于强烈的LoRA强度1.0可能会削弱主体内容的多样性。尝试0.6-0.8让风格和内容更好融合。高清重绘幅度denoise这是平衡“保持原图”和“增加细节”的关键。0.25-0.35通常能在保留构图的同时有效增加面部细节、纹理质感。如果放大后脸部崩了尝试降低到0.2。种子Seed在第一阶段找到一个满意的种子后在第二阶段使用相同的种子可以保证放大前后内容的一致性。你可以在第一个KSampler上固定一个种子然后通过节点连线将这个种子值传递给第二个KSampler。6. 总结走完这一趟你应该能感受到ComfyUI这种节点式工作流带来的强大可控性。它把图像生成这个“黑箱”过程拆解成了一个个可观察、可干预的环节。从加载基础模型到注入LoRA风格再到用ControlNet精确控制构图最后通过分阶段采样实现高清输出每一步你都能看得见、摸得着。刚开始面对满屏的节点和连线可能会觉得复杂但一旦你亲手搭建并成功运行过一次那种“一切尽在掌握”的感觉是非常棒的。它允许你进行非常复杂的流程编排和实验比如尝试不同的预处理组合或者将多个ControlNet叠加使用如同时控制姿势和景深。最好的学习方式就是动手。建议你先从复现这个教程中的流程开始确保每个环节都能跑通。然后尝试替换不同的LoRA模型、ControlNet类型调整各个强度参数观察它们对最终成果的影响。很快你就能设计出属于自己的、高效且强大的专属图像生成工作流了。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。