大家在做角色一致性项目时最常遇到的痛点是单张立绘生成得很漂亮但只要一换角度、一换场景人物就“判若两人”。尤其是当你需要把同一个角色放进视频里让她转头、走位、切换机位时角色面部和服装细节一旦漂移整个片子就废掉了。所以这一期 AI 作画极简教程第 60 期我准备把一条完整闭环拆给你看Krea-2 生成四视图人物定妆照再用 4 步优化让 LoRA 训练提速一倍支持批量处理最后把定妆照接入 MiniMaxH3 视频生成作为人物参考锚点。这篇内容适合三类读者第一类用过 AI 绘画工具但还没系统做过角色一致性第二类已经训练过 LoRA但觉得数据整理和训练参数太乱、效率太低第三类正在研究图生视频想让生成的人物在视频里不“变脸”。读完你可以掌握一套从静态图到动态视频的完整角色资产流水线不再只是零散地生成一张图而是能稳定地创造出一个可以复用的“角色资产”。整篇文章没有复杂的底层数学推导更多的是工程化经验。我会把提示词、批量脚本、训练参数、排查思路都放在对应章节你可以直接按顺序操作也可以当成速查手册遇到问题回来翻对应小节。1. 为什么要做四视图定妆照角色一致性的底层逻辑1.1 四视图定妆照是什么四视图定妆照也叫角色转面图Character Turnaround Sheet是针对同一个角色生成四个角度的标准化图像正面、左侧面、背面、右侧面。有些团队还会在此基础上增加一个 3/4 侧面用来弥补正面和侧面之间的过渡信息。这套概念最早常见于动画和游戏原画行业。原画师在定角色稿的时候必须先画出一张包含多角度的“设定图”后续所有动画师、建模师才有一个统一参照。到了 AI 绘画时代这个思路被直接迁移过来了。对扩散模型来说单张图片只能表达角色某个瞬间的局部特征四视图则相当于提供了角色三维结构在不同投影平面上的近似描述。很多人不理解为什么一定要四视图。打个比方你在微信上给朋友发了一张自拍朋友能认出你但如果你需要朋友在人群里从任何角度都能找到你只给一张自拍显然不够。四视图就是给模型的“多角度通缉令”它让模型知道这个人的正面是圆脸侧面看鼻梁挺背面看发尾微卷。这比任何文字描述都来得具体。1.2 角色一致性差根因往往不在视频模型在尝试图生视频时很多人会把“人物变脸”归咎于视频生成模型不够强。但实际上大多数情况下问题出在输入参考图的信息量不足。视频模型在生成每一帧时都需要一个可靠的视觉锚点。如果参考图只有一张正脸那当角色需要侧身、回头、甚至背对镜头时模型根本没有任何信息可以参考它只能靠想象力补全结果自然就会飘。四视图定妆照解决的正是这个信息缺口。它把角色的发型、服装、五官比例从多个角度固定下来视频模型拿到这些信息后无论角色怎么运动都能从参考图中找到对应的外观依据。尤其在 MiniMaxH3 这类视频生成模型中输入参考图的质量和角度完整度往往直接决定成片角色的一致性和流畅度。1.3 为什么选择 Krea-2、LoRA、MiniMaxH3 这个组合三个工具各司其职缺一不可Krea-2负责生成定妆照。它的优势在于交互式实时生成可以快速迭代角色造型适合作为角色资产的创意起点。LoRA负责把角色特征固化进模型。训练完成后你不需要每次都写大段提示词来描述角色只需要加载一个几百 MB 的 LoRA 文件就能稳定复现这个角色。MiniMaxH3负责让角色动起来。它是视频生成模型可以基于文本和参考图生成动态视频片段是角色资产变现为视频内容的出口。这套组合的典型应用场景包括短剧角色设计、虚拟主播形象稳定输出、动漫角色多镜头视频、电商模特换装视频、游戏角色宣传片等。无论哪种场景核心诉求都一样先定义角色再让角色“动起来”。2. 环境准备与资源清单2.1 需要准备的工具在开始之前先把需要的工具和环境列一个清单避免做到一半发现缺这缺那。第一类是图像生成工具也就是 Krea-2 的账号或在线平台。如果你是第一次使用建议先在平台上熟悉一下最基本的文生图功能再进入四视图操作。第二类是图像整理工具可以用 Python 加 Pillow 库也可以用 Photoshop 手动处理。如果后续要做批量操作Python 脚本是更高效的选择。第三类是 LoRA 训练环境目前社区使用较多的是 kohya_ss 训练脚本它支持从数据集打标到模型训练的一站式操作。第四类是基础模型也就是 Checkpoint。欧式写实风格可以选用麦橘写实 v6 这类真实风模型日系二次元风格则建议使用专门的动漫底模。第五类是 MiniMaxH3 视频生成环境。如果你有本地部署条件可以搭建本地推理环境如果本地资源不够使用平台在线服务也是一种常见方式。2.2 硬件建议与显存门槛LoRA 训练比全量微调轻量得多普通消费级显卡就能开始。根据我的经验显存 8GB 左右可以训练 SD 1.5 系 LoRA速度尚可12GB 显存能够训练 SDXL 系 LoRA本文示例的 768 分辨率也能跑24GB 显存则可以开更大的 batch size训练速度会有明显提升。很多同学会问RTX 3060 的 12G 显存能不能跑这类流程答案是能跑。RTX 3060 12G 属于 SDXL LoRA 训练的入门级甜点卡关键在于控制分辨率不要超过 1024batch size 尽量设置在 1 或 2同时开启混合精度和显存优化。如果你的训练集只有二十多张图单轮训练时间通常可以控制在几十分钟到一两小时之间。需要注意的是如果你用的是最新版本的训练脚本不同版本对显存占用和参数命名会有差异。遇到报错时优先查看脚本自带的 README 或样例配置而不是盲目套用网上的旧命令。2.3 项目目录结构建议工程化的第一步是建立清晰的目录结构。角色资产项目建议拆成五个目录原始素材、训练集、标签、输出模型、视频参考。我常用的目录结构如下character_project/ ├── raw/ # Krea-2 批量生成的原始四视图 ├── dataset/ # 清洗后的训练图 ├── label/ # 训练标签文件 ├── output/ # LoRA 模型输出 └── video_ref/ # 用于 MiniMaxH3 的参考图这个结构的核心价值在于把“创意阶段”和“工程阶段”彻底分离。raw 目录里可以随意堆放大量候选图dataset 目录则是精挑细选后的训练素材label 和 output 分别管理标签和产物。这样即使项目迭代到第五个版本你仍然能快速定位到某个版本的训练集和对应模型。3. Krea-2 生成四视图人物定妆照的实操流程3.1 先写角色设定再写提示词提示词质量决定了四视图质量的七成以上。很多人打开 Krea-2 就直接输入一段“一个漂亮女孩”结果生成的是一张普通头像角度、风格全都不受控。正确做法是先把角色信息拆成三块外部特征、服装配饰、整体风格。外部特征描述五官、脸型、发型、瞳色例如“黑色长发、蓝色眼睛、圆脸、肤色白皙”服装配饰描述衣服、领带、耳环等例如“白色衬衫、蓝色领带、银色耳环”整体风格描述画面的渲染风格与光线例如“写实摄影、影棚灯光、柔和漫射光”。这三块信息不是简单堆进提示词就完事的。外部特征必须放在句首因为扩散模型对句首的注意力权重更高服装配饰放在中间用于强化整体印象整体风格放在末尾相当于告诉模型“按这个画风渲染”。3.2 四视图提示词模板以日本动画风格角色为例中文提示词可以写成角色四视图定妆照同一个女孩的正面、侧面、背面、另一侧面的转面图黑色长发蓝色眼睛 白色衬衫蓝色领带银色耳环角色设定参考图简洁纯色背景柔光高细节2D 动画风格英文提示词模板更加稳定推荐复制后替换角色描述部分character turnaround sheet, same character from four angles, front view, side view, back view, opposite side view, [角色描述black hair, blue eyes, white shirt, blue necktie, silver earrings], character reference sheet, simple background, consistent design, highly detailed, 2D anime style这里有两个非常关键的词缺一个效果都会崩。第一是 “same character”它告诉模型四张图里必须画同一个人第二是 “four angles” 或 “turnaround sheet”它告诉模型输出多视角排列图。如果不写这两个词Krea-2 大概率只会生成一张唯美的正面立绘而不是四视图。3.3 在 Krea-2 中完成生成的四步核心动作在 Krea-2 平台上生成四视图核心动作可以归纳为四步第一步把上文的提示词粘贴到输入框并选择一个匹配的预设风格。写实角色的预设和二次元角色的预设完全不同不要混用。第二步打开实时生成模式先用较低迭代次数快速生成草图观察整体构图是否满足四视图要求。构图不对时不要急着抽卡优先修改提示词把 “four views” 之类关键词写在最前面。第三步当某一版角色造型满意后锁定 seed 值。Seed 锁定之后模型会保持画面构图和角色细节的相对稳定这时候你可以小幅修改提示词比如调整发色或服装配色角色总体结构不会剧烈变化。第四步对最终选择的四视图进行超分辨率放大然后分别裁出正面、侧面、背面、侧面的单张图保存到 raw 目录。Krea-2 让我比较喜欢的一点是它的迭代效率。传统 WebUI 里改一次提示词要重新排队等待而在 Krea-2 中实时画布会即时刷新你可以在十几分钟内试出十几个角色方案。这意味着你可以把更多精力放在角色设计本身而不是等待出图。3.4 批量生成与初筛正式进入训练之前最好先批量生成 8 到 12 组四视图然后快速做一轮初筛。初筛的标准有三条第一同一人的一致性也就是五官、发型、服装在四个视角中是否统一第二角度是否齐全至少包含正面、侧面、背面第三画面是否干净不要出现复杂背景、多角色、遮挡面部的情况。筛选时不要心软。只要出现脸部畸形、手指异常、服装破损或者四个角度明显不是同一人的图直接删除。留下 2 到 4 组高质量四视图即可它们才是 LoRA 训练的核心素材。很多人训练不出理想效果不是因为生成图太少而是因为把大量劣质图也塞进了训练集导致模型学到的是“平均脸”而不是“角色脸”。4. 4步让 LoRA 训练提速一倍这一节是全文的重点。很多人训练 LoRA 慢并不是显卡不够强而是数据集和参数设置存在大量冗余。下面 4 步操作从数据清洗、尺寸统一、参数调优到工程加速按顺序做完之后大部分单角色 LoRA 项目的总耗时能压缩到原来的 50% 左右。4.1 第一步训练集清洗与去重LoRA 训练的核心逻辑不是数量而是质量。用 100 张角度重复的图不如用 20 张角度差异明显的高质量图。因为 LoRA 学习的是角色特征的高频模式重复图片只会强化同一种姿势下的细节导致模型对角色真实结构的理解反而变差。清洗时建议执行三件事。第一删除重复度高的图像相似构图只保留一张。第二删除带文字的图片包含水印、字幕条的图优先裁掉或直接删掉。第三确保每张图主体清晰、面部无遮挡模糊图和低分辨率图一票否决。经过这一轮清洗一个常见的角色训练集会从几十张原图缩减到 20 到 40 张高质量目标图训练步数也随之下降。这里有一个重要经验每个角度保留 5 到 8 张图。如果你只有正面图和背面图缺少侧面图LoRA 学到的“侧面结构”就只能靠脑补生成视频时侧脸肯定会崩。角度平衡比数量堆砌重要得多。4.2 第二步统一裁剪并重命名训练图像如果不统一尺寸训练脚本在预处理阶段会频繁做缩放和裁剪拖慢整个流程。更麻烦的是部分底模对分辨率极其敏感训练图分辨率不一致会造成成图不稳定。建议先把所有训练图统一裁剪为 1:1 正方形分辨率设为 768x768 或 512x512然后按character_001.png、character_002.png的规则统一命名。如果你用的是 SDXL 底模优先使用 768 或 1024 分辨率如果用的是 SD 1.5 底模512 通常更合适。命名越规律后面生成标签、匹配训练集就越轻松。4.3 第三步调小网络维度和训练轮数LoRA 中的network_dim也就是低秩矩阵的维度决定了可学习参数的数量。维度越大模型可以拟合的细节越多但参数量、显存占用和训练时间也会线性上升。很多新手上手就抄别人的配置network_dim设成 128训练速度直接翻倍变慢而且单角色根本不需要这么高的维度。在我的项目里单角色 LoRA 使用network_dim 32通常已经足够。如果把训练素材拍得更丰富、角度更全64 也就到顶了。训练轮数max_train_epochs设置在 8 到 10 轮repeats设置在 10 左右总训练步数就远比默认配置少。你可以观察 loss 曲线的走势如果 loss 在中途降到很低并开始震荡说明已经过拟合继续训练只是浪费时间。4.4 第四步开启缓存与混合精度工程层面的加速同样关键。训练脚本里开启cache_latents后预处理阶段会把所有图像编码成 latent后续每个 epoch 直接使用缓存结果不需要重复走 VAE 编码流程。这项优化在数据集较大时效果非常明显也是训练提速贡献最大的一项设置。紧接着开启混合精度和显存优化。mixed_precisionfp16可以大幅减少显存占用xformers优化器则能降低注意力计算的显存需求。如果显卡显存允许把batch_size从 1 提高到 2 甚至 4训练迭代速度能进一步翻倍。但要注意batch size 提高后显存占用会同步上升如果出现 OOM可以优先回退 batch size再考虑降低分辨率。5. 批量处理脚本训练前一条龙手动一张一张裁剪、改名、写标签费时费力还容易出错。这一节我给出一个可复制的批量整理脚本以及对应的标签生成方式和训练启动命令。你只需要把原始图丢进raw/文件夹脚本会在几秒内完成裁剪和统一命名。5.1 批量整理脚本这个 Python 脚本使用 Pillow 库把所有图片统一中心裁剪为 1:1并缩放到指定尺寸# 文件路径scripts/prepare_dataset.py import os from PIL import Image RAW_DIR ../raw DATASET_DIR ../dataset SIZE 768 os.makedirs(DATASET_DIR, exist_okTrue) def center_crop(image, target_size): width, height image.size min_side min(width, height) left (width - min_side) / 2 top (height - min_side) / 2 right (width min_side) / 2 bottom (height min_side) / 2 return image.crop((left, top, right, bottom)) index 1 for filename in sorted(os.listdir(RAW_DIR)): if not filename.lower().endswith((.png, .jpg, .jpeg)): continue img Image.open(os.path.join(RAW_DIR, filename)).convert(RGB) img center_crop(img, SIZE) img img.resize((SIZE, SIZE), Image.LANCZOS) out_name fcharacter_{index:03d}.png img.save(os.path.join(DATASET_DIR, out_name)) print(f已生成: {out_name}) index 1使用方法很简单cd scripts pip install pillow python prepare_dataset.py脚本会扫描raw/目录下的所有常见图片格式逐个中心裁剪成正方形后输出到dataset/。如果你的训练分辨率不是 768把第三行的SIZE变量改掉就行。注意这个脚本默认只处理图片不会处理子目录所以你最好先把所有原始图都平铺到raw/目录下。5.2 标签文件快速生成LoRA 训练通常需要为每张图配一个同名的.txt标签文件用来描述画面里的角色特征。标签文件格式非常简单# 文件路径dataset/character_001.txt 1girl, black hair, blue eyes, white shirt, blue necktie, silver earrings, solo标签可以用 WD14 Tagger 等工具自动生成也可以手动写。我的建议是自动打标后再人工检查一遍。因为自动打标经常出现标签不完整、过拟合通用词等问题。例如模型训练如果每张图都带solo标签里这个字段出现频率过高会导致模型把所有生成结果都往“单人”方向拉后续做多角色视频时会很难受。多视角训练场景下标签里最好也注明视角信息例如from_side、from_back这让模型能更好地区分不同视角特征。5.3 训练启动脚本以 kohya_ss 训练环境为例启动命令大概长这样# 文件路径scripts/train_lora.sh accelerate launch --num_cpu_threads_per_process 8 \ sd-scripts/train_network.py \ --pretrained_model_name_or_path../models/写实底模.safetensors \ --train_data_dir../dataset \ --output_dir../output \ --output_namecharacter_lora \ --resolution768,768 \ --network_modulenetworks.lora \ --network_dim32 \ --max_train_epochs8 \ --learning_rate1e-4 \ --unet_lr1e-4 \ --text_encoder_lr5e-5 \ --lr_schedulercosine \ --optimizer_typeAdamW8bit \ --cache_latents \ --mixed_precisionfp16 \ --enable_bucket需要注意几个关键点。第一pretrained_model_name_or_path必须指向你实际使用的 Checkpoint 文件这里只是示例占位。第二resolution必须和prepare_dataset.py里的SIZE保持一致否则训练脚本会对图片做二次缩放造成信息丢失。第三不同版本的 kohya_ss 脚本参数名可能不同如果报错请先查看你本地脚本的帮助文档。第四network_dim调小到 32配合cache_latents和fp16就是第四节里说的提速核心。6. 定妆照如何接入 MiniMaxH3 视频生成定妆照生成好了LoRA 也训练完了接下来就是把它用起来。MiniMaxH3 作为视频生成模型支持参考图引导生成可以让角色在视频中的外观更稳定。这一节重点讲接入思路和组合技巧。6.1 MiniMaxH3 的角色参考场景MiniMaxH3 这类视频生成模型通常可以通过参考图来引导首帧或角色外观。单张正脸立绘作为参考时模型对侧脸、背影的推断能力不足容易出现“换头”感。而四视图定妆照提供了不同角度的完整外观信息视频模型在生成角色转身、侧面行走、背对镜头等镜头时有更充分的视觉依据。实际场景中四视图定妆照最常见的用法有三种第一种作为首帧参考让视频从角色正面特写开始第二种作为多镜头切换时的分角色参考每个镜头选择对应角度的定妆照第三种和 LoRA 配合LoRA 负责整体的角色特征保持定妆照负责当前镜头的角度和姿态引导。三种方式可以单独使用也可以组合使用。6.2 参考图输入方式根据你使用 MiniMaxH3 的方式不同参考图输入也有两种路径。如果使用在线平台一般是直接上传定妆照作为参考图并在提示词中补充画面运动描述。如果使用本地部署环境推理脚本中通常会提供一个 reference_image 参数把图片路径传进去即可。我的建议是不要一次性把四张定妆照拼成一张大图传进去。视频模型对超大图的解析能力有限拼图后每张单图的尺寸变小反而可能导致角色面部细节丢失。更合适的做法是拆开使用一个镜头拍正面就传正面定妆照一个镜头需要人物侧面行走就传侧面定妆照人物走向远景背影就传背面定妆照。配合镜头脚本逐镜头上传对应角度参考图角色一致性会提高一个层级。6.3 多视角参考与分镜控制多镜头视频项目必须建立“分镜参考表”。我一般会做一个表格把每个镜头需要的角色状态、参考图角度、提示词动作一一对应起来例如镜头 1 是正脸特写使用正面定妆照镜头 2 是角色走向门口使用侧面定妆照镜头 3 是背影慢慢远去使用背面定妆照。这么做有两方面好处。一方面每个镜头都有精准的参考图视频模型不必从单张正脸图里硬推侧脸生成失败率会大幅下降。另一方面当成片出现某个镜头角色走形时你可以直接定位到是“参考图选错”还是“提示词描述不清”排查成本明显降低。如果你还想做得更精细可以在每个镜头的提示词里补充景别、运镜方式和动作描述比如“侧面中景人物从右向左走镜头跟随”让视频模型在角度和动作上都有据可依。7. 常见问题与排查思路下表汇总了整套流程中高频出现的问题以及排查方向。问题现象常见原因解决思路四视图里人物不像同一个人提示词中缺少 same character 关键词seed 未锁定补齐 same character / same person并锁定 seed 再微调四视图角度不全只有正脸模型把提示词理解成单视角立绘强化 four angles / turnaround 关键词并检查底模风格LoRA 训练后角色特征偏移数据集角度不均衡每个角度补 35 张图重新平衡训练集LoRA 过拟合生成动作僵硬训练轮数或 repeats 过大降低 epochs / repeats观察 loss 曲线及时停止显存不足 OOMbatch_size 过大调小 batch_size开启 fp16 和 xformers视频生成时人物脸部漂移参考图风格不统一统一四视图的光线、分辨率、脸部比例后再传入模型MiniMaxH3 本地部署后是否必须联网首次下载权重或调用在线编码器时需要联网否则可以离线推理按部署方式区分本地权重加载后通常可离线在线 API 模式必须联网如果你遇到的是四视图角色不一致问题还有一个快速判断技巧把四张图缩小放到同一个画布里关闭颜色信息只看轮廓。如果四张图的头型、肩膀宽度、发型外轮廓差异很大说明问题出在生成阶段而不是后续训练阶段。这时优先调整提示词“same character”的权重或者直接换一个对多视角支持更好的 Checkpoint。LoRA 训练不稳定时先别急着换脚本改参数。把训练图按角度归类统计每个角度的图片数量。只要有一个角度严重缺失模型的角色结构理解就一定不完整。同样如果训练集里混入了半身像、全身像、脸部大特写模型会无所适从。统一构图主体比例也是一个容易被忽视但极为关键的点。8. 最佳实践与工程建议角色一致性项目做得越久越会意识到流程比创意更重要。前期的角色设计很自由但一旦进入批量生成、训练、视频生产阶段没有规范就会四处踩坑。下面几条工程化习惯建议尽早养成。8.1 建立角色资产库角色资产库我建议按“角色名 / 版本 / 类型”三层结构管理。例如assets/character_Alice/v1/four_view/、assets/character_Alice/v1/lora/、assets/character_Alice/v1/video_ref/。这样做的好处是无论你迭代多少次都能快速找到指定版本的四视图、LoRA 模型和视频参考图。尤其是多个角色并行的项目如果目录混乱搞混角色模型是迟早的事。8.2 每次训练都要归档训练参数LoRA 训练最大的坑是“过两周之后想复用却完全记不清当初用了什么参数”。建议每次训练完成后把提示词、数据集截图、关键训练参数、loss 曲线截图整理到一个train_log.md文件中和 LoRA 模型放进同一个版本目录。下一次训练可以直接对比上一版参数判断是该调数据还是该调学习率而不是从零开始瞎试。8.3 重视版权边界如果你准备训练某个真实人物或者受版权保护的形象建议先确认授权。AI 绘画工具和 LoRA 训练脚本本身没有任何限制但商用场景下的版权责任完全在使用者身上。训练角色 LoRA 时尽量使用自己创作的角色图像或者来自可商用授权素材库的图像。关于模型权重本身的许可协议也需要在使用前确认尤其是想用于商业项目时不同模型的 License 差异很大。8.4 用批量脚本人肉降本今天的prepare_dataset.py脚本只是一个起点你完全可以按项目需求继续扩展。可以加入模糊检测逻辑自动把模糊图移到reject/目录可以自动生成同名标签文件可以在训练结束后自动用训练出的 LoRA 生成一组预览图和原始角色定妆照做对比。把这些重复劳动脚本化之后整个项目的人力成本会大大降低你也可以把时间花在更有价值的角色设计和分镜优化上。8.5 数据安全与备份角色资产往往是项目里最核心的部分。定妆照、标签、LoRA 模型这些文件一定要定期备份。输出目录建议至少保留最近两个版本的模型不要每次训练都覆盖同名文件。尤其是训练到一半发现参数更好时先复制一份再继续调避免回退时找不到旧模型。备份成本很低重做的代价却很高。9. 总结与下一步学习路线这一期内容的核心收获可以浓缩成一句话先做四视图定妆照再清洗数据集、调低网络维度、开启缓存和混合精度把 LoRA 训练时间压下来最后按镜头分角度使用定妆照接入 MiniMaxH3 视频生成让角色在动态画面中也能保持稳定。接下来你可以继续研究几个方向。一个是 3/4 视角的补充四视图加一个 3/4 侧面能让模型对斜侧角度的理解更完整另一个是不同底模下的 LoRA 泛化差异同一套定妆照在写实底模和二次元底模下训练出的 LoRA风格差异可能非常大你需要根据自己的成片风格选定底模还有一个是图生视频的多镜头分镜控制把“分镜参考表”做成标准化模板每个镜头使用对应角度的定妆照这是提升视频成品率最直接的方法。如果你在实操中遇到其他问题比如四视图怎么都生成不出统一角色、LoRA 训练 loss 曲线异常、或者 MiniMaxH3 接入时脸部漂移严重欢迎在评论区留言。这一系列后续会按高频问题单独出排错专题我们把角色一致性这条路彻底走通。