ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

Toonflow 视频生成节点完全指南:从提示词与参考素材到 AI 成片的全流程实战

Toonflow 视频生成节点完全指南:从提示词与参考素材到 AI 成片的全流程实战 人工智能AI 应用AI AgentRAGAI 写作后端桌面应用【免费下载链接】Toonflow-appToonflow 是一款 AI 短剧漫剧工具能够利用 AI 技术将小说自动转化为剧本并结合 AI 生成的图片和视频实现高效的短剧创作。借助 Toonflow可以轻松完成从文字到影像的全流程让短剧制作变得更加智能与便捷。项目地址https://gitcode.com/HBAI-Ltd/Toonflow-app点击查看免费下载Toonflow 视频生成节点videoGenerationNode是 AI 短剧漫剧创作流水线中的成片核心它接收提示词与参考素材调用所选供应商的视频模型一键产出可供画布继续编辑的视频资产。本文基于 packages/nodes/videoGenerationNode/readme.md 展开并结合 index.vue、generationSettings.vue 与后端生成链路完整讲解该节点的输入输出、生成模式、参数设置、停止与截帧等实战细节读完即可在画布中高效配置并排错视频生成。节点定位输入、输出与素材组合规则视频生成节点的职责是根据提示词和参考素材生成视频支持所选模型提供的文生视频、单图、首尾帧或混合参考模式。从源码中的手柄声明index.vue可以确认它的端口定义端口类型可连接数据类型说明intargetIMAGE、VIDEO、AUDIO、STRING图片、视频、音频、文本输入videosourceVIDEO视频输出输入支持文本、图片、视频和音频但实际可用的素材组合取决于模型与生成模式——例如纯文生视频模式不接受任何引用素材而混合参考模式允许同时挂载图片、视频与音频。输出为生成的视频文件节点内置播放器还支持将当前帧、首帧或尾帧截取为图片节点供后续图像类节点继续使用。节点每次生成的视频会写入工作区assets/{节点id}目录见 startGeneration 的outputDirectory配置输出以{ url, mimeType }形式保存在VIDEO类型输出中。实战操作六步完成一次视频生成readme 给出了完整的操作流程结合界面源码可还原每一步的交互细节选择模型。选中节点后从模型下拉框选择视频模型若下拉框提示“请先在设置中添加视频模型”noDataText需先到设置页的媒体模型管理中添加并启用视频供应商。节点挂载时会通过loadModels()拉取/api/ai/media/models并过滤出type video的模型index.vue为空配置时自动选中第一个可用模型。填写提示词。在提示词输入框中描述动作、运镜和声音要求连接参考素材后可按需拖拽调整引用顺序referenceItem支持横向拖拽排序也可用Alt左/右方向键移动见 referenceItem.vue。配置生成设置。点击节点底部参数按钮展开生成设置面板generationSettings.vue选择生成模式、时长、分辨率和画面比例当模型audio能力为optional时会出现“生成音频”开关。理解首尾帧分配规则。使用首尾帧类模式时图片按引用顺序分配为首帧、尾帧“首帧可选”模式仅有一张图片时该图片作为尾帧节点会显示对应的referenceHint提示文案。点击“生成视频”。生成过程中按钮变为“停止生成”图标切换为停止样式点击即可通过AbortController中止当前任务。查看与输出结果。完成后播放器自动加载视频可播放/暂停、拖动进度条、调整音量、全屏预览并通过节点顶部的下载按钮保存还可从媒体历史mediaHistory中切换历史生成结果。生成模式详解五种模式与“混合参考”生成模式由所选模型的能力声明mode字段决定节点只展示当前模型支持的选项。模式标签映射见 generationSettings.vue模式界面标签素材要求来自 getMatchingModestext文生视频无任何图片/视频/音频引用singleImage单图参考恰好 1 张图片startEndRequired首尾帧必填恰好 2 张图片endFrameOptional尾帧可选12 张图片startFrameOptional首帧可选12 张图片仅 1 张时作为尾帧数组如[imageReference:9,videoReference:3,audioReference:3]混合参考各类引用数量分别不超过声明上限混合参考模式是数组形式每项声明一种媒体类型的引用上限例如imageReference:9表示最多 9 张图片。节点会实时统计已连接的图片/视频/音频数量并据此计算“当前引用下可用的模式”matchingModes当引用变化导致当前模式不再适用时会自动切换到仍适用的模式index.vue 的 watch 逻辑普通媒体优先作为参考避免误切换成首尾帧模式。在发起生成前节点还会做一组前置校验startGeneration已选择模型、已填写提示词所有引用节点都有实际内容若模型声明了mode能力当前引用必须能匹配至少一种模式否则报“当前模型没有适合这些参考素材的生成模式”。生成设置时长、分辨率、比例与音频时长与分辨率随模型变化时长duration与分辨率resolution并非固定选项而是由模型声明的durationResolutionMap动态推导generationSettings.vue面板先汇总所有可选的秒数再根据当前时长过滤出对应的分辨率集合。切换模型或时长后节点会在 watch 中自动把不合法参数归一到首个合法值index.vue。以官方 TF-router 供应商为例tfRouter.tsSeedance 2.5时长 430 秒分辨率 480p / 720p / 1080pWan3.0时长 230 秒分辨率 480p / 720p / 1080pMiniMax-H3时长 415 秒分辨率 480p / 768p。通用画面比例节点内置了通用比例选项[16:9, 9:16, 1:1, 4:3, 3:4]index.vue默认值为9:16适配竖屏短剧。readme 明确指出通用画面比例的实际支持范围由供应商决定即这些比例是否生效、能否被最终成片完全遵循取决于供应商接口的校验与实现。生成音频开关“生成音频”开关的可用性取决于模型的audio能力index.vueaudio: optional显示开关默认开启generateAudio ?? true用户可自由切换audio: true固定生成音频不显示开关未声明或audio为假不生成音频也不显示开关。请求发出时generateAudio会按此规则归一化为布尔值startGeneration。请求构造提示词与参考素材如何组装发起生成时节点把界面状态组装为一个NodeVideoRequeststartGenerationprompt由提示词正文与所有STRING类型引用拼接为“参考 N…”段落合并而成generationPromptimages非首尾帧模式下收集所有图片引用作为普通参考图firstFrame/lastFrame首尾帧模式下按顺序取图片startFrameOptional仅一张图片时该图作为lastFramevideos/audios透传视频与音频引用ratio、resolution、duration、mode、generateAudio一并随请求下发。请求经 nodeAi.ts 的generateVideo()发往POST /api/ai/media/generate。服务端路由apps/server/src/routes/ai/media/generate.ts用videoGenerationSchema校验参数runtime.ts其中duration上限 3600 秒、ratio必须是数字:数字格式、参考媒体路径必须是工作区内相对路径。随后 generation.ts 完成整条链路读取并校验参考文件单文件不超过 100 MB→ 加载媒体供应商 → 调用provider.generateVideo()→ 将返回的 URL 或 base64 结果下载/解码并落盘到assets/{节点id}→ 回写结果。任何一步失败都会回滚本次新建的文件保证工作区整洁。停止生成与生成状态节点持有独立的AbortControllergenerationController点击“停止生成”或节点被删除/卸载时都会触发abort()后端在轮询供应商任务状态时会感知中止信号并及时中断tfRouter.ts 的轮询循环在wait()中检查信号。需要说明的是停止只保证本地停止等待不一定能撤销供应商侧已经产生的任务或费用这一点在后文的节点工具描述中也有明确交代。生成状态由 useNodeGeneration.ts 统一管理状态机为idle → running → succeeded / failed取消时记录为“生成已取消”。结果预览、下载与截帧生成完成后节点通过 videoPlayer.vue 渲染播放器提供播放 / 暂停、进度条拖动、当前时间显示音量滑块与静音切换全屏预览节点顶部的全屏按钮调用player.enterFullscreen()节点上方工具栏的下载按钮默认文件名取自输出 URL 的最后一段index.vue。截帧功能播放器工具栏的“截取视频帧”菜单可将当前帧、首帧或尾帧导出为 PNG 并自动在画布上创建图片节点remote-imageNode。readme 特别提示——截帧需要先启用图片节点插件若未启用会提示“请先启用图片节点插件”videoPlayer.vue。截取首尾帧时播放器用独立视频元素定位到0或duration - 0.001处解码不干扰当前播放进度新图片节点会自动摆放在原节点右侧并避开已占用的画布位置。为 AI Agent 暴露的节点工具为了让画布中的 AI Agent 能程序化操作该节点节点注册了一组工具index.vue这也是 readme 未展开但值得掌握的自动化能力getConfig读取当前配置、可选视频模型能力、通用比例及适合当前引用的模式不含密钥其中时长与分辨率严格对应模型的durationResolutionMapsetConfig修改模型、时长、分辨率、比例、模式或声音providerId与modelId必须同时提供mode须与当前引用匹配参数不合法时返回明确错误如“当前模型不支持时长 X可选…”setPrompt写入生成提示词支持{{ref 1}}参考标记generateVideo以当前配置启动后台生成立即返回配合全局的getGenerationStatus查询idle/running/succeeded/failed状态与输出和cancelGeneration请求停止仅本地取消使用。常见约束与排错要点素材上限参考媒体与生成结果单文件均不得超过 100 MB且媒体类型必须与端口声明一致generation.ts。模式与素材匹配选择模式后新增/删除引用可能使当前模式失效节点会自动切换若所有模式都不匹配会阻止生成并给出提示。供应商差异时长与分辨率选项随模型变化通用画面比例的实际支持范围由供应商决定。添加自定义模型时需在模型配置中正确声明mode、audio与durationResolutionMap节点才能呈现完整可用的设置项。无模型时的入口模型下拉框为空时先到“设置 → 媒体模型”中添加视频模型随后回到节点重新打开下拉即可加载。赞分享人工智能AI 应用AI AgentRAGAI 写作后端桌面应用【免费下载链接】Toonflow-appToonflow 是一款 AI 短剧漫剧工具能够利用 AI 技术将小说自动转化为剧本并结合 AI 生成的图片和视频实现高效的短剧创作。借助 Toonflow可以轻松完成从文字到影像的全流程让短剧制作变得更加智能与便捷。项目地址https://gitcode.com/HBAI-Ltd/Toonflow-app点击查看免费下载相关推荐OpenMontage 多网关 AI 视频生成实战指南从提示词到成片的完整工作流OpenMontage 多网关 AI 视频生成实战指南从提示词到成片的完整工作流 导读 本指南以 OpenMontage 仓库中的 ai video gen人工智能AI Agent音视频媒体生成工作流自动化Toonflow 音频节点完全指南画布内音频素材导入、试听与下游参考连接Toonflow 音频节点完全指南画布内音频素材导入、试听与下游参考连接 Toonflow 的音频节点 toonflow/node audio 是画布工人工智能AI 应用AI AgentRAGAI 写作后端桌面应用Toonflow 文本节点完全指南剧本、分镜说明与提示词的编写、保存与 AI 生成Toonflow 文本节点完全指南剧本、分镜说明与提示词的编写、保存与 AI 生成 导读 文本节点textNode是 Toonflow 工作流中最基础也最人工智能AI 应用AI AgentRAGAI 写作后端桌面应用上一篇一个 U 盘装 N 个系统Ventoy 多系统启动盘快速上手下一篇NCM转MP3批量转换免费工具ncmdump拖拽转换整库音乐只要3分钟创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表