最近这段日子AI电影制作这个方向可以说是爆发式增长。我刷到很多作品、加上自己手上实际跑过的项目用的核心工具组合高度一致Claude Seedance/Veo/Kling/Grok。Claude负责把故事变成结构化的分镜和提示词Grok负责创意灵感和对白润色Seedance、Veo、Kling三个视频生成模型则分别承担不同风格和类型的镜头输出。这篇文章把我过去一两个月实际跑通的AI短片制作流程完整写出来包括工作流搭建、模型选型、提示词写法、自动化管线还有一堆踩坑记录。适合看这篇文章的人想用AI做电影感短片、做漫剧、做产品宣传片的个人创作者视频团队里负责技术落地的同学以及刚接触Seedance、Veo、Kling想知道这几种模型各自优势怎么用的人。如果你是零基础也没关系我尽量把每一步为什么这么做讲清楚你照着我给的模板和流程跑一遍就能上手。1. 先搭框架AI电影制作的全新工作流1.1 传统流程和AI流程的差别在哪里先说为什么我要把这五个工具放在一起讲。单看任何一个视频生成模型都能出片但生成一条视频和制作一部电影完全是两码事。电影感来自三个层面连贯的故事结构、有设计感的镜头语言、统一的美术和情绪基调。单靠一个视频模型最多给你一个画面惊艳的孤品片段撑不起几分钟的叙事。这中间缺的就是一个导演脑。传统动画短片、CG短片一条3分钟的内容小团队少说也要做两三个月。分镜、原画、动画、上色、合成、配音、剪辑每一环都得有人工介入。AI流程能压到什么程度我实测过一条1分钟的产品概念短片包含6个场景、14个镜头从脚本到成片两天搞定其中真正花在模型渲染上的时间大概一个下午剩下的时间全在调提示词、选镜头、改细节。速度是数量级的提升但代价是导演脑必须做到位否则你得到的不是电影是14条互不相干的漂亮片段。顺便说一句我见过很多刚开始玩AI视频的人最大的误区就是以为提示词写得华丽就行。其实不是AI视频真正的工作重心在前期故事结构、分镜设计、镜头衔接逻辑。模型只是把你想好的画面翻译出来。哪个环节薄弱成品就在哪个环节露馅。1.2 这套组合里每个工具扮演什么角色把这套工具链理解成一个剧组分工非常清晰Claude导演脑执行制片。负责剧本结构、分镜脚本、提示词工程。它的结构化输出能力特别强可以把一个模糊想法拆成可执行的JSON、表格、清单这是后面所有自动化流程的基础。Grok创意顾问。用来做头脑风暴、风格探索、对白润色。它的发散性很强适合在创意前期给你提供意料之外的切入点也能在卡壳的时候帮你破局。Seedance主力摄影之一。中文语义理解优秀2.0版本对运镜的结构化控制明显加强适合叙事短片和漫剧。Veo主力摄影之二。写实画质和物理正确性最好适合产品、风光、广告、写实人物镜头。Kling动作指导特效担当。对人物动态、舞蹈、复杂运动的控制力最强适合表演系镜头。为什么不只用某一个模型这是很多人问我的第一个问题。原因特别朴素现在的视频生成模型没有一个是全能的。Seedance中文叙事强但写实物理和Veo比还是差口气Veo物理强但对中文提示词的响应有时候会绕Kling动作稳但长镜头叙事的连贯性又不如Seedance的导演台可控。与其跟一个模型的短板较劲不如把每个镜头派给最擅长它的模型。多模型协作不是折腾是任何一个认真做AI视频的人必然会走到的阶段。2. 前期创作用Claude和Grok搭建导演脑2.1 让Claude生成剧本的正确姿势很多人让Claude写剧本只说一句帮我写个科幻短片剧本出来的东西必然是流水账。真正能用的做法是分层喂信息每一层都让它先输出结构、确认后再往下展开。我常用的节奏是这样的第一批世界观和人物。给Claude三到五句话的世界观设定、两个主要人物的背景、一个你想要的整体情绪基调。注意这里不要给太多给多了它容易迷失重点。第二批故事结构。让Claude先给一页纸的故事节拍包含Logline一句话故事、主角目标、核心冲突、情绪曲线、关键场景清单。确认结构没问题再展开成完整剧本。这一步特别重要因为AI生成的剧本如果不先把节拍定死展开之后会越写越散。第三批对白和动作。剧本里的动作描写要具体到运动层面因为后期要翻译成分镜提示词。他生气地走进房间这种描述后期没法直接变成画面他用力推开门门撞在墙上弹回来他站在门口停顿了两秒然后走到窗前这种描述才有镜头感。我还习惯让Claude在剧本里标记视觉重点每个场景用一行标注这个场景最值得被拍下来的画面。这样后期分镜的时候直接照着视觉重点走不会丢掉关键画面。2.2 Grok在创意阶段的具体用法Grok在中文圈的使用率不如Claude高但我在创意初期特别依赖它。原因有三个一是它的上下文窗口大一次丢几十个参考片段进去做风格归纳不费力二是它的回答语气更松弛经常能从反直觉的角度给点子三是它在处理荒诞感反套路这类需求时明显比逻辑严谨的Claude放得开。打个比方。我上次做一部关于失眠的短片Claude给的分镜是标准叙事主角失眠、起床、喝水、望向窗外中规中矩。Grok直接给了我一个画面凌晨三点主角打开冰箱发现冰箱里整整齐齐码着五张自己的旧照片每张照片上的T恤颜色都不一样。这个点子一下就把情绪立住了。后面我把这个画面喂回Claude融进分镜脚本整条片子的记忆点一下就出来了。所以我的建议是Claude管结构和执行Grok管灵感和破局。创作初期先让两三个模型各给一版方案交叉着看往往能有惊喜。别只在一个模型上死磕。2.3 把剧本翻译成分镜脚本分镜脚本是AI视频制作里最重要的中间产物。它不需要画得多好看但必须精确到每个镜头景别、镜头运动、画面主体、环境、光线、人物状态、情绪、时长、转场方式。我通常让Claude直接输出JSON格式的分镜数据每个镜头包含固定的字段。为什么用JSON而不是自然语言因为这个格式可以被Claude Code脚本直接读取批量生成提示词不需要人工一条条复制粘贴。结构化输出是所有自动化流程的地基。一个分镜条目的样子{ id: S1_L2, shot_type: 中景, camera_movement: 缓慢推进, subject: 穿红色风衣的女子在雨中穿过斑马线, environment: 深夜城市街道霓虹灯倒映在积水里, lighting: 冷暖光对比冷色调为主, mood: 孤独但坚定, duration: 4, transition: 混合剪切 }拿到这份JSON下一步就可以开始往提示词方向走了。所以我的工作流里分镜生成脚本是固定的一步从来不跳过。3. 视频生成模型横向对比Seedance、Veo、Kling怎么选3.1 Seedance 2.0与开源的Skill导演台Seedance是字节系团队的视频生成模型中文语义理解一直是它的强项。你写黄昏的胡同里一个穿校服的少年骑着自行车拐过弯车铃响起后面飘起一片梧桐叶它在中文语境下的理解准确率明显比那些以英文为第一语义的模型要高。这个优势在叙事短片里特别重要因为中文的很多意象和留白直译成英文就变味了。真正让Seedance在创作圈火起来的是配套的Skill导演台开源项目。简单说它把镜头运动、景别、时长这些原本靠提示词碰运气的参数变成了结构化控制项。你可以在导演台里定义镜头运动的方向、幅度、起始画面和结束画面让模型严格按照设定生成而不是靠随机概率蒙一个运镜出来。实际用过之后我的感受是Seedance生成的镜头运动逻辑更接近摄影师拍的而不是算法漂的。同一个镜头里推镜和摇镜的方向一致性、人物移动和摄像机跟随之间的配合都稳了不少。对于需要多镜头剪辑成片的项目这个稳定性的价值比单条画面的惊艳程度高得多。3.2 Veo 3的物理正确性和原生音频Veo是Google DeepMind的系列模型Veo 3这代最大的突破是原生音频。生成的视频不仅画面能看声音也跟着画面走风吹树叶的声音、脚步踩过碎石的声音、环境底噪这些直接从模型里出来不需要后期再去音效库翻素材。对我这种一个人干全活的创作者来说这一步节省的时间非常可观。物理正确性是Veo最突出的点。物体遮挡关系、光影方向、物体落地后的弹跳、液体飞溅的轨迹这些物理常识它理解得最好。所以凡是写实题材、产品展示、自然风景我优先用Veo。但Veo也有让人头疼的地方排队时间相对长价格偏高而且它处理中文提示词时偶尔会先翻译成英文再理解导致某些中文表达的微妙意味丢失。我的解决办法是写双语提示词——中文定调英文补充细节让模型两者结合着理解出片率会高不少。3.3 Kling的可控性和动作表现Kling是快手可灵。这个模型在可控性上卷得非常厉害支持首尾帧控制你可以指定镜头第一帧和最后一帧的画面让模型把中间的运动过程补出来。这个能力在做转场、做循环、做特定动作时特别有用。Kling生成的人物表情和肢体动态在稳定且丰富之间平衡得最好。很多模型一到大动作就崩比如手部扭曲、面部变形Kling在大动作下的人体结构保持度明显好。我拿它做过一段舞蹈镜头人物旋转、甩袖、跳跃这一串动作下来身体比例和面部都稳住了。它做漫改风格也很合适尤其是打斗场景多的动态漫。我的实际分工是文戏用Seedance打戏和舞蹈用Kling。这样两部模型各干各擅长的片子的整体质量会明显上升。3.4 不同创作场景的模型选型参考这几个月下来我整理了一张选型表放在工作流文档里团队新人照着选基本不会出大错创作场景首选模型选择理由写实广告、产品展示、自然风光Veo物理正确、画质高、原生音频中文叙事短片、漫剧文戏Seedance中文理解强、叙事连贯、导演台可控舞蹈、打斗、复杂动作、首尾帧转场Kling动作稳定、可控性强创意发散、风格探索、文案方案Grok发散性强、视角独特辅助前期分镜脚本、提示词工程、自动化流程Claude结构化输出强、适合搭建工作流以前我也试图用一个模型包打天下后来发现所有包打天下的尝试最后都在某个环节翻车。现在老老实实按镜头分派模型反而效率最高。4. 提示词工程与运镜控制AI视频的灵魂4.1 一个可复用的AI视频提示词模板先给一套我固定使用的提示词结构[主体描述] [景别] [镜头运动] [环境与光线] [美术风格] [情绪氛围] [时长/画幅]举一个完整的正例一个穿着白色连衣裙的女孩站在废弃工厂的天台上主体远景景别镜头缓慢环绕推进运动夕阳从她身后逆光打来扬起的灰尘在光柱里飞舞光线复古胶片质感偏青橙色调风格孤独但释然的氛围情绪5秒16:9规格。再举一个反例拍一个女孩在天台上看夕阳要好看。这种提示词生成出来大概率是平庸画面。差在哪差在缺光线、缺运镜、缺景别、缺风格。AI生成视频时你没写的信息它只能猜而猜出来的结果往往是最无趣的那一种。还有一个容易被忽略的东西负面提示词。我会在提示词末尾固定追加一行避免画面模糊、人物畸形、镜头剧烈抖动、文字水印。虽然有些模型对负面提示词的支持有限但写上不会亏偶尔能挡住一次翻车。4.2 Iris Out等高级运镜提示词怎么写热词里提到的seedance生成iris out舞提示词Iris Out指的是虹膜光圈式转场画面从中心或者边缘以圆弧形遮罩展开/收缩像老电影里镜头光圈的开合。这个效果非常适合用在开篇、情绪转场和结尾收束。我写过一个Iris Out实例供参考镜头从女孩瞳孔的特写开始画面以虹膜光圈Iris Out方式从中心向外环形展开逐渐露出全景她站在空旷的舞台上聚光灯从顶部落下周围是黑暗的观众席。光圈展开过程自然平滑老胶片质感整体情绪克制、专注。6秒16:9。写这类转场有三个要点。第一明确展开的起点画面是什么这决定了转场的信息入口第二说明展开的速度感缓慢展开和快速拉开给人的情绪完全不同第三光圈转场也需要质感描述否则默认生成的效果很容易显得塑料。除了Iris Out我常用的运镜关键词还有缓慢推镜Dolly In、后拉揭示Pull Back Reveal、环绕运镜Orbit、甩镜Whip Pan、升降镜头Crane Up/Down、跟拍Tracking Shot、手持呼吸感Handheld。每一个运镜关键词背后都对应一种特定的情绪语言比如手持感适合紧张慌乱缓慢推镜适合内心审视。提示词写运镜本质上是在用镜头讲情绪。4.3 漫剧制作Seedance的具体打法漫剧动态漫画是现在很火的AI视频应用方向Seedance在这里面特别有优势我对这套流程已经跑得很熟了。一部漫剧的工作流拆开是这样的用Claude生成漫剧剧本。漫剧节奏比电影快单集控制在15分钟以内对应6到8个关键场景每场戏必须有明确的推进作用。用Claude生成人物设定表包括外貌、服装、性格、标志性动作。跨集一致性靠这个设定表维持所有提示词里关于人物的描述都从设定表复制不能临时改。先用Seedance生成关键场景的定帧图确认美术风格、配色、光影方向统一。再根据分镜提示词生成动态镜头。文戏用中近景加轻微的缓慢推镜武戏或强情绪场景用全景加快节奏运镜。最后统一做字幕、配音、音效。文件命名和字幕时间轴这部分我用Claude Code批量处理。漫剧跟电影短片最大的区别在于信息密度。观众在手机上看漫剧前面两秒留不住人就滑走了。所以我的漫剧分镜里第一个镜头永远是视觉冲击力最强的画面故事背景交代放到第二第三个镜头去补。这是做电影短片时不需要那么极端考虑的但做漫剧必须刻进脑子里。5. 实操用Claude Code MCP搭一条半自动流水线5.1 配置Claude Code和MCP的准备工作Claude Code是Anthropic出的命令行编程助手核心价值在于它能读懂项目里的文件、执行终端命令还能通过MCPModel Context Protocol模型上下文协议接入外部工具。在AI视频工作流里我主要让它干三件事批量生成提示词、管理素材文件、调用ffmpeg做自动处理。安装并完成基本配置之后第一件事是给项目建好目录结构。我的固定结构是project/ ├── story/ # 剧本、分镜JSON ├── prompts/ # 每个镜头的提示词文件 ├── footage/ # 生成的原始视频片段 ├── assets/ # 配音、音乐、音效 └── output/ # 剪辑成品目录规范不是为了好看是为了让Claude Code读取文件时不用猜。AI编程助手最怕的是路径混乱你把结构定清楚然后明确告诉它读project/story/shot_list.json为每个item生成prompts/下的同名.prompt文件它执行起来非常干净。5.2 用Python脚本批量生成视频提示词核心思路分镜JSON是数据源提示词模板是渲染器两者拼接批量产出每个镜头的完整提示词。我让Claude Code帮我写过一个最简版本的Python脚本import json from pathlib import Path with open(project/story/shot_list.json, r, encodingutf-8) as f: shots json.load(f) template ( {subject}{shot_type}{camera_movement} {environment}{lighting}{style}{mood}{duration}秒16:9。 避免画面模糊、人物畸形、镜头剧烈抖动。 ) for shot in shots: prompt template.format(**shot) out Path(project/prompts) / f{shot[id]}.prompt out.write_text(prompt, encodingutf-8) print(f生成 {shot[id]}.prompt)这只是一个起始版本实际项目里我还会在模板中加入转场衔接信息、镜头衔接关系、以及画幅比这些参数。脚本最大的好处是分镜改动了重跑一遍所有提示词自动同步绝不会出现镜头和提示词对不上的低级错误。手动复制粘贴批量提示词的日子过去之后就回不去了。5.3 后期环节用MCP接管视频处理的脏活后期是最适合自动化的环节。AI视频生成会产生大量片段人工一个个改名、排序、拼字幕非常消耗精力。我通过MCP接入ffmpeg和字幕工具让Claude Code直接处理这些任务。比如我可以直接对它说把footage目录下所有以S1_开头的片段按照分镜JSON里的duration裁剪到对应秒数统一输出到output/clips目录并生成一份clip_list.txt按分镜顺序排列。Claude Code会自己写命令、执行、检查输出结果然后把失败的文件名报告给我。这套流程跑通之后一条片子的素材整理时间从半小时压缩到三分钟。省下来的时间我全部用来做镜头筛选和节奏调整那才是真正影响成片质量的部分。5.4 用统一接口切换不同模型按任务分配做AI视频涉及多个环节每个环节的文本任务类型不一样。有的适合严谨结构化有的适合创意发散有的适合长文本总结。所以我现在流行的一种做法是让Claude Code作为统一前端通过CC Switch这类配置工具接入DeepSeek、Qwen、GLM等不同模型服务按任务切换。实际用法长篇剧本和分镜结构用Claude中文对白润色交给Qwen长文档素材总结丢给DeepSeek创意发散交给Grok。切换本质上是改配置文件里的API端点把不同任务分给不同模型。这样做的意义在于不同模型有各自的性格你没必要把自己绑在一个模型上。AI电影制作本来就是多模型协作的活模型层面的按需调度和镜头层面的按需选型逻辑是一致的。6. 常见问题与避坑指南6.1 视频生成环节的典型问题问题一人物一致性崩坏。同一个角色在不同镜头里长相完全不一样。我的解决思路是给每个角色建一张文字特征卡固定描述顺序发型-脸型-五官-服装-标志性配饰。所有提示词里关于人物的部分原样从特征卡里复制。有条件的话最好用图生视频先把角色定帧图生成出来后续镜头基于这张图去做一致性会大幅提升。问题二镜头运动漂移。画面本该推镜结果人物在画面里乱飘。原因多半是主体描述太弱运动指令没有明确对象。解决方法是在运镜描述前说清楚运动对象镜头跟随人物缓慢推进而不是笼统的缓慢推镜。问题三转场生硬。我不太在提示词里直接写转场两个字而是让新镜头的第一帧复用上一个镜头的末帧构图靠剪辑台上用光暗闪或动作衔接来处理。这样生成出来的片子在视觉上是连续流动的比模型自己生成的那种硬切舒服得多。6.2 工具链协作的常见坑坑一分镜和提示词不同步。改过剧本忘了重新生成分镜和提示词最后生成的素材和故事对不上。我的习惯是每次改完剧本先重跑分镜生成脚本再重跑提示词批量脚本用文件修改时间戳校验。这个习惯救过我很多次。坑二文件命名混乱。AI生成的片段默认命名基本是乱码不统一处理的话后期剪辑是灾难。建议设统一命名规则集数_场次_镜头_版本.mp4比如EP01_S02_L03_v2.mp4一看就知道是第几集第几场第几个镜头第几版。坑三不按平台规范制定画幅。不同平台对视频比例要求不一样手机竖屏9:16长视频平台16:9还有1:1的封面图。生成之前先确认发布平台不要等后期才转画幅硬裁切会毁掉构图。6.3 几条实测有效的效率经验先出小样再大批量。一个镜头先测风格方向确认之后再批量生成全片避免浪费生成次数。镜头冗余是常态。一个镜头至少生成两到三个版本同一画面用不同运镜或不同提示词变体剪辑时才有选择空间。只出一个版本就进剪辑基本没有回旋余地。定帧先行。复杂场景先用图生视频模式生成关键帧确认构图、光线、人物状态再让画面动起来。这个流程比直接文生视频的废片率低很多。音频先行也行。如果片子有旁白或对白先把音轨写好再根据音轨时长定镜头时长成片节奏会准很多。我在两部片子里试过先做音频再生成画面整体叙事节奏明显比先凑画面再配音稳。6.4 关于Windows环境下工具链的小提醒如果你在Windows上使用Claude Code桌面版可能会遇到提示要求启用虚拟机平台这是Claude Code运行环境的正常系统要求。在系统设置里找到启用虚拟机平台选项打开然后重启即可。这类问题通常不需要折腾跟着系统提示走就行。我个人实际跑了一个月之后最大的体会是AI电影制作的核心能力已经不是会点生成而是会拆解。把故事拆成分镜把分镜拆成提示词把提示词拆成参数每一层拆得越干净后面生成和剪辑的返工就越少。Claude Seedance/Veo/Kling/Grok这套组合就是把拆解好的想法变成画面的生产工具它不会替你做创作但会把你从重复劳动里解放出来。最后再分享一个小技巧每次项目结束后把跑通过的分镜模板、提示词模板、脚本代码全部存档。下一个项目直接复制改参数省掉的不只是时间还有重新踩坑的成本。AI工具迭代很快但你自己沉淀下来的工作流才是真正越用越值钱的东西。