论文标题Bridging Your Imagination with Audio-Video Generation via a Unified Director论文链接https://arxiv.org/abs/2512.23222项目主页https://kebii.github.io/UniMAGE/作者Jiaxu Zhang, Tianshu Hu, Yuan Zhang, Zenan Li, Linjie Luo, Guosheng Lin, Xin Chen一、你是否想过一个人能不能拍出一部电影这个问题放在五年前答案几乎是否定的。电影是工业产品需要导演、编剧、摄影、美术、后期……每一个环节都是专业分工缺一不可。但AI正在改变这件事的底层逻辑。近年来Sora、Veo 3这类视频生成模型让文字变视频成为现实但它们有一个共同的天花板只能生成短镜头无法讲述一个完整的故事。你给它一段提示词它能生成一段精彩的画面但你想要一部有起承转合、有多个角色、有连贯情节的短片它就力不从心了。字节跳动最新发布的UniMAGE模型正是冲着这个痛点来的。它的目标不是生成一个镜头而是充当一位AI导演——从用户的一句话出发自动编写多幕剧本生成关键帧图像甚至标注音效和对话把整个创作流程打通。二、现有方案的困境剧本和画面是两张皮要理解UniMAGE的价值先得搞清楚现有AI创作工具的核心矛盾。目前主流的AI影视创作流程基本是这样的先用GPT/Claude等大语言模型写剧本再把剧本里的场景描述喂给Midjourney、DALL-E或视频生成模型来出图/出视频。这个流程看起来顺畅但实际操作中有几个深坑第一叙事逻辑和视觉呈现严重脱节。语言模型理解故事图像模型理解画面两者之间没有真正的信息共享。你让语言模型写第三幕主角满脸疲惫地站在废墟前图像模型接到这句话时它根本不知道主角长什么样上一幕发生了什么废墟的风格是否和前面的场景一致。第二多镜头的角色一致性几乎无法保证。这是所有做过AI分镜的人都深有体会的痛苦——同一个角色换个场景、换个角度脸就变了。现有的解决方案要么是反复调整提示词要么是依赖ControlNet等辅助工具成本极高。第三长篇叙事能力的缺失。即便是Sora 2、Veo 3这样的顶级商业系统也高度依赖结构化提示本质上还是在生成单个镜头缺乏跨镜头规划和维护叙事连贯性的能力。UniMAGE的出发点就是把剧本创作和关键帧生成这两件事统一到一个模型里来做。三、UniMAGE的核心架构Mixture-of-TransformersUniMAGE的技术基础是Mixture-of-TransformersMoT架构这是整个系统能够同时处理文本和图像的关键。简单来说MoT里有两个Transformer专家一个负责多模态理解一个负责图像生成。与此对应模型使用两种视觉编码器面向理解的ViTVision Transformer和面向生成的VAE变分自编码器。这两个专家通过共享的自注意力层处理同一个token序列实现信息互通。在预测方式上文本token走的是经典的Next Token PredictionNTP自回归路线视觉token则采用Rectified Flow这是当前视觉生成领域的主流范式。UniMAGE的基础权重来自字节跳动此前开源的BAGEL模型在此基础上针对长篇叙事场景进行了专项训练。这个架构设计的妙处在于文本理解和图像生成不是两个独立的管道而是在同一个序列空间里协同工作。模型在生成第三幕的关键帧时看到的不只是第三幕的文字描述而是整个剧本的上下文包括角色定义、前序场景的图像以及故事的整体走向。四、剧本结构设计给AI导演一套分镜语言UniMAGE能够理解和生成结构化剧本依赖于一套精心设计的剧本格式。这套格式由三个核心组件构成全局描述 GGlobal Description定义角色和环境的全局信息例如Character1一位留着深棕色长发、面带温暖笑容的女性穿着深灰色外套内容描述 CContent Description每个镜头的具体描述分为帧描述静态视觉布局机位、灯光、角色站位和视频描述时间性内容对话、情节发展、动作关键帧图像 FKeyframe Images与内容描述对应的视觉关键帧。模型还引入了一组特殊token来标记剧本元素比如Character1、Environment2、Frame3、Video4等。当全局描述里定义的角色出现在某个镜头的内容描述中时用对应的特殊token来指代而不是重复描述外貌。这样做有两个好处一是保持剧本简洁二是让模型能够精确追踪这个镜头里出现了哪些角色/环境。对话和音效用- -标记例如-现在闭上眼睛。继续。-表示角色台词-Soft, inquisitive orchestral music begins-表示背景音乐指示。这些标注在后续阶段可以直接用于音频内容的检索和生成。五、“先交错后解耦”两阶段训练范式UniMAGE最核心的技术创新是它的两阶段训练策略论文称之为**“先交错后解耦”Interleave-then-Disentangle**范式。第一阶段交错概念学习Interleaved Concept Learning这个阶段的目标是让模型学会边写剧本边出图也就是以交错的文本-图像序列来理解和生成内容。具体做法是把剧本组织成文本和图像交替出现的序列——写一段场景描述紧跟着生成对应的关键帧图像再写下一段再生成图像……这个过程在概念上非常类似于思维链Chain-of-Thought文本内容充当模型的推理过程图像生成则是基于前置叙事上下文的输出结果。在这个阶段两个Transformer专家的所有参数联合优化允许生成结果反过来影响模型的文本理解实现双向信息流动。第二阶段解耦专家学习Disentangled Expert Learning交错学习赋予了模型对整体剧本的连贯理解但也带来了一个问题灵活性不足。当用户想要扩展剧本、续写后续镜头或者用新的提示词改变故事走向时严格的交错生成顺序就成了束缚。解耦阶段的做法是将剧本文本生成和关键帧图像生成分开训练。理解专家用纯文本剧本数据优化专注于叙事逻辑生成专家用交错文本-图像数据优化但理解分支通过**停止梯度stop gradient**冻结防止梯度传播。同时还引入了单镜头文本-图像对来进一步提升视觉保真度。这种解耦策略让模型可以充分利用异构多模态训练数据——不只是多镜头剧本还有海量的单图文本对从而在叙事逻辑和图像质量两个维度上同时提升。六、两个关键技术细节ID提示与剧本拆分除了两阶段训练范式UniMAGE还引入了两个工程上非常精妙的设计。情境中ID提示In-Context ID Prompting这是解决多角色视觉一致性的核心手段。在ViT token理解用和VAE token生成用中模型会插入特殊的文本token用来标注当前帧的ID以及图像中出现的角色ID和环境ID。每个图像的视觉token与其对应的特殊token之间施加完全注意力full attention确保模型在生成某个角色的图像时能够回头看全局描述里对这个角色的定义以及这个角色在前序镜头中的视觉呈现。效果是显著的论文的消融实验ablation study显示去掉ID提示UniMAGE w/o ID-P后CSD、CIDS和OCCM三项与一致性相关的指标都出现了明显下滑证明这个机制对于长篇故事中的多角色身份稳定至关重要。预上下文剧本拆分Pre-Context Script Splitting这个设计解决的是剧本的动态扩展问题。训练时模型会随机在纯文本剧本中插入新的用户或系统提示模拟两种真实的创作需求基于提示的剧本扩展把一个完整剧本拆成两半在中间插入Extensiontoken加上新的用户提示由Qwen 2.5自动生成让模型学习如何从给定提示出发连贯地扩展现有叙事情境中剧本续写在最后一个镜头之前插入Continuationtoken加上系统提示让模型学会在推理时无限期地续写剧本。这两种机制合在一起让UniMAGE在推理阶段具备了真正的开放式创作能力——用户可以随时介入用新的提示词引导故事走向而不是只能接受模型一次性生成的固定结果。七、训练数据三个互补子集共950k样本模型的能力离不开数据的支撑。UniMAGE构建了一个大规模多样化数据集由三个子集组成多镜头文本-图像剧本450k序列是数据集的主体。来源是开源电影、短片和纪录片用视觉场景过渡检测切分成连贯镜头再用Gemini 2.5 Pro为每个镜头生成详细的文本注释。这个子集是交错概念学习阶段的核心训练数据。多镜头文本剧本250k样本是纯文本的剧本语料库用Qwen 2.5重新组织和结构化适配UniMAGE的分层剧本格式。这个子集专门用于解耦阶段的理解专家训练强化长篇叙事逻辑、镜头过渡和对话惯例的学习。单镜头文本-图像对250k样本是高质量的单图数据同样用Gemini 2.5 Pro重新标注为剧本结构化描述。用于解耦阶段的生成专家训练提升角色渲染和场景构图的视觉精度。值得注意的是整个训练过程相对轻量交错概念学习阶段训练30,000步解耦专家学习阶段训练10,000步学习率均为1e-5遵循BAGEL的标准化训练流程。八、实验结果在ViStoryBench上拿下开源SOTAUniMAGE的性能评估在公开基准ViStoryBench上进行对比对象包括 StoryDiffusion、Story2Board 和 SEED-Story。评估指标涵盖六个维度指标含义CSD风格相似性跨镜头的视觉风格一致程度CIDS角色识别相似性角色身份在多镜头间的保留程度Alignment提示依从性生成内容与叙事提示的匹配程度OCCM舞台角色计数匹配场景中角色数量的准确性Inception图像质量生成图像的整体质量Aesthetic美学图像的美学评分UniMAGE在整体性能上取得最优尤其在一致性相关指标上领先明显CIDS达到59.2OCCM达到88.07Alignment达到80.8均显著优于现有方法。定性对比同样直观。StoryDiffusion在场景变化时会出现角色外观漂移Story2Board和SEED-Story则在长篇叙事中出现碎片化过渡和视觉风格不稳定。UniMAGE通过统一导演架构和情境中ID提示能够在10个以上镜头的长篇故事中稳定保持角色身份和场景连续性。用户研究的结果更加直接叙事逻辑的GSB分数为0.72大多数参与者明确表示更偏好UniMAGE生成的剧本而非现有基线的输出。九、推理流程统一但解耦的生成策略UniMAGE的推理过程体现了统一但解耦的设计哲学分为清晰的三步第一步生成文本剧本。用户输入一段自然语言提示可以是一句话的故事梗概也可以是详细的场景描述模型生成包含全局描述、多镜头内容描述的完整文本剧本。第二步交互式扩展与续写。用户可以在任意节点介入用新的提示词扩展叙事或者触发续写模式让模型自动生成后续镜头。这个过程可以反复进行直到故事达到满意的长度和走向。第三步生成关键帧图像。完整剧本按镜头拆分以交错方式逐镜头生成对应的关键帧图像。由于每个镜头的图像生成都能看到全局角色定义和前序图像视觉一致性得到有效保障。最终输出的是一套完整的多模态剧本结构化的文本描述、对应的关键帧图像、标注好的对话台词和音效指示。这套剧本可以直接对接现有的视频生成模型如Sora、Veo和TTS/音效系统实现从一句话到可制作短片的全流程打通。十、局限性与未来方向论文对UniMAGE的局限性保持了坦诚的态度。当前版本主要聚焦于叙事连贯性和视觉一致性但电影创作的更高维度——情感节奏的把控、风格化电影摄影、对导演意图的细粒度控制——尚未完全解决。举个例子UniMAGE能够生成一个主角在废墟前沉默的镜头但它目前还无法精确控制这个镜头应该是冷色调的压抑感还是暖色调的释然感镜头应该是仰拍彰显孤独还是俯拍强调渺小。这些属于导演意图层的控制是下一阶段需要攻克的方向。此外将UniMAGE扩展到更丰富的电影理解能力——比如理解蒙太奇手法、理解镜头语言的情感表达——也是论文明确提出的未来工作方向。十一、对AIGC创作者的实际意义从实用角度看UniMAGE对不同群体的意义是不同的。对于独立创作者和短剧团队来说UniMAGE提供的是一个真正意义上的AI编剧分镜师组合。你不再需要在语言模型和图像模型之间来回搬运信息一个模型就能给出从故事梗概到分镜草图的完整输出大幅压缩前期筹备成本。对于影视制作公司来说UniMAGE更像是一个高效的概念验证工具。在正式开机之前用它快速生成多个故事版本的分镜预览帮助导演和投资方对齐视觉预期降低沟通成本。对于AI研究者来说UniMAGE的MoT架构和先交错后解耦训练范式提供了一个处理长序列多模态生成任务的新思路在故事可视化、漫画生成、游戏剧情设计等领域都有潜在的迁移价值。小结UniMAGE的意义不只是又一个多模态生成模型。它真正做到的事情是把导演的工作方式内化到了模型的架构设计里。导演做的事情是在脑海中同时维护故事的逻辑线和视觉线让两者在每一个镜头上精确咬合。UniMAGE通过MoT架构、交错概念学习和情境中ID提示在技术层面复现了这个过程。当然距离AI能完全替代导演还有很长的路要走。但UniMAGE至少证明了一件事让AI真正理解讲故事而不只是生成画面在技术上已经有了可行的路径。对于正在探索AI辅助影视创作的从业者来说这篇论文和这个项目值得认真研读。相关资源论文原文https://arxiv.org/abs/2512.23222项目主页含Demohttps://kebii.github.io/UniMAGE/基础模型BAGEL开源地址可在项目主页找到相关链接如果这篇文章对你有帮助欢迎点赞收藏也欢迎在评论区分享你对AI影视创作的看法和实践经验。