尧图网页设计 
3步完成AI视频分析video-analyzer如何把会议录像自动变成分条纪要【免费下载链接】video-analyzerAnalyze videos using LLMs, Computer Vision and Automatic Speech Recognition项目地址: https://gitcode.com/gh_mirrors/vi/video-analyzer你想对一段录像做 AI视频分析把里面的内容自动提取成文字video-analyzer 就是干这件事的它从视频中抽取关键帧交给视觉大模型逐帧讲解再用 Whisper一个把语音转成文字的大模型转录音轨最后把所有信息拼成一段完整的叙述。全程可以跑在本地也可以调用云端模型交付物是一份能直接阅读的 JSON 报告。 先把第一个视频跑起来环境准备三步这个工具在内部做什么它把一次视频内容提取拆成三个连续动作数据提取——用 OpenCV 挑出关键帧相邻差异明显才入选画面几乎没变的帧直接跳过Whisper 转录音轨质量差的音频会被自动降级处理逐帧解读——视觉 LLM 描述每一帧且每次都会被告知上一帧发生了什么保证叙述在时间上不断线内容重构——按时间顺序合并所有帧描述再融合转录文本输出整段视频的描述。核心逻辑都在 video_analyzer/ 目录里设计细节见 docs/DESIGN.md。三步装好本地环境需要准备 Python 3.11 和 FFmpeg一个免费的多媒体工具链这里负责解码视频、拆出音轨。如果打算在本地跑大模型机器至少 16GB 内存32GB 更从容。git clone https://gitcode.com/gh_mirrors/vi/video-analyzer cd video-analyzer python3 -m venv .venv source .venv/bin/activate pip install .FFmpeg 按系统各取一行sudo apt install ffmpeg # Ubuntu/Debian brew install ffmpeg # macOS choco install ffmpeg # Windows第一条分析命令想完全本地运行先配好 Ollama一个在本地跑大模型的运行时ollama pull llama3.2-vision ollama serve然后把要处理的录像丢给它比如一段会议录像video-analyzer meeting.mp4 --whisper-model large人工整理这份会议纪要原本要花 2-3 小时交给它之后 15-30 分钟出结果约 75% 的整理时间省下来。给它一个具体问题输出会更聚焦video-analyzer meeting.mp4 --prompt 提取会议核心决策和行动计划第一次跑完你会看到什么analysis.json 里有什么跑完后 output/ 目录里的主产物是analysis.json。默认情况下提取出的音轨、关键帧等中间文件会被自动清理加上--keep-frames可以把关键帧留在frames/里供你核对。报告分四个板块metadata——用了哪个客户端、哪个模型、抽了多少帧、转录是否成功transcript——完整转录文本每段都带起止时间frame_analyses——逐帧描述按时间排列video_description——整段视频的综合摘要。大致长这样{ metadata: { model: llama3.2-vision, frames_extracted: 15, transcription_successful: true }, transcript: { text: 大家好今天我们来讲解产品架构..., segments: [ {...} ] }, frame_analyses: [ ... ], video_description: 这段5分钟的视频展示了产品架构讲解过程... }单帧描述会是这种口吻办公室场景穿蓝色衬衫的男子白板前讲解产品架构3分15秒处画面切到功能演示界面…… 综合摘要则按时间切块架构介绍 0-2 分钟、功能演示 2-4 分钟、问答环节 4-5 分钟结尾再给一句是否适合当培训材料的判断。完整样例在 docs/sample_analysis.json。按视频长短选帧间隔速度与精度的平衡点就在每分钟抽多少帧。帧越多细节越全耗时和模型调用也越多。按视频时长对号入座视频类型推荐帧间隔分析重心典型用途短视频5分钟2-3秒高精度细节产品演示、短视频分析中长视频5-30分钟5-10秒速度与精度平衡会议记录、教学视频长视频30分钟15-30秒只抓核心内容电影、长讲座实时监控1秒盯住关键动作安全监控、行为分析对应命令video-analyzer meeting.mp4 --frames-per-minute 20 # 会议记录取平衡 video-analyzer short_video.mp4 --frames-per-minute 60 # 短视频要精度 video-analyzer lecture.mp4 --max-frames 100 # 长视频抓核心一个容易踩的点--max-frames不是只取开头 N 帧而是把 N 帧均匀摊到整个视频里长视频末尾的内容也有机会被抽到。☁️ 本地还是云端模型跑在哪由你定本地跑数据不出机器会议录像、内部教程这类不想上传的内容直接用 Ollamavideo-analyzer video.mp4 --model llama3.2-vision video-analyzer video.mp4 --ollama-url http://localhost:11434第二条在你改了 Ollama 服务地址时才需要。云端跑任何 OpenAI 兼容 API想要速度可以接 OpenRouter 或 OpenAIvideo-analyzer video.mp4 \ --client openai_api \ --api-key your-key \ --api-url https://openrouter.ai/api/v1 \ --model meta-llama/llama-3.2-11b-vision-instruct:free模型名尾部带:free就是 OpenRouter 的免费档。用 OpenAI 的话video-analyzer video.mp4 --client openai_api --api-key sk-xxx --model gpt-4-vision-preview按目标挑模型隐私敏感 → Ollama 本地模型精度优先 → GPT-4o 或 GPT-4 Vision成本敏感 → OpenRouter 免费模型实时处理 → 较小的本地模型长视频与批量任务把处理时间压下来的三个技巧按分钟截取——--duration 600只处理前 10 分钟适合先试跑或把长视频分段消化从中间续跑——三个阶段对应--start-stage 1/2/3第一阶段提取成功后中断了用--start-stage 2直接从帧分析接着走记得配合--keep-frames让关键帧保留下来循环批处理——一目录视频逐个出报告for video in *.mp4; do video-analyzer $video --output results/${video%.*} done这类用法在两种场景里有实测收益教育平台上分析教学视频知识点提取准确率达 92%学生复习效率提升 3 倍内容理解深度增加 40%内容审核场景里处理速度约为人工的 5 倍违规内容识别率 95%人工审核工作量减少 80%。常用的参数写进配置文件参数优先级是命令行 config/config.json 内置默认值。同一组参数反复用就固化到配置文件里。最常动的几个frames.per_minute——每分钟抽帧数10-60 之间按视频长短调audio.whisper_model——语音识别模型档位small/medium/large越大越准也越慢clients.temperature——生成随机性0.1-0.3 输出更稳定response_length.frame——单帧描述上限128-512 字符之间选。全部参数说明在 docs/USAGES.md。 出问题时按这条路径排查先加--log-level DEBUG看日志卡在哪一阶段再对照症状下药症状多半的原因第一反应处理太慢帧数太多、本地 CPU 推理降到--frames-per-minute 10或切--client openai_api转录很慢Whisper 模型太大换--whisper-model small实在不行tiny描述对不上画面帧密度不够或模型偏弱--frames-per-minute 60试--model gpt-4o用--prompt收窄问题内存不足崩溃视频太长、帧太多--duration 300先跑 5 分钟--max-frames 30封顶转录用--whisper-model tiny还有一种不算故障的情况音频质量低于阈值时工具会自动放弃转录、只靠画面分析此时metadata里的transcription_successful会是false。遇到它不必紧张先检查音源清晰度再决定是否换large档模型。跑通之后下一步做什么先用 5 分钟以内的短视频确认整条链路没问题再碰长视频看metadata.frames_extracted和实际画面变化速度对比决定帧密度上调还是下调把高频参数写进config/config.json命令行只留每次不同的项为固定任务纪要、教学、审核各写一条专用--prompt对输出文风不满意时看看 video-analyzer-tune 子项目它能基于你的样本自动调优提示词模板通读一遍 docs/USAGES.md把全部参数留作速查【免费下载链接】video-analyzerAnalyze videos using LLMs, Computer Vision and Automatic Speech Recognition项目地址: https://gitcode.com/gh_mirrors/vi/video-analyzer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 3步完成AI视频分析：video-analyzer如何把会议录像自动变成分条纪要
3步完成AI视频分析video-analyzer如何把会议录像自动变成分条纪要【免费下载链接】video-analyzerAnalyze videos using LLMs, Computer Vision and Automatic Speech Recognition项目地址: https://gitcode.com/gh_mirrors/vi/video-analyzer你想对一段录像做 AI视频分析把里面的内容自动提取成文字video-analyzer 就是干这件事的它从视频中抽取关键帧交给视觉大模型逐帧讲解再用 Whisper一个把语音转成文字的大模型转录音轨最后把所有信息拼成一段完整的叙述。全程可以跑在本地也可以调用云端模型交付物是一份能直接阅读的 JSON 报告。 先把第一个视频跑起来环境准备三步这个工具在内部做什么它把一次视频内容提取拆成三个连续动作数据提取——用 OpenCV 挑出关键帧相邻差异明显才入选画面几乎没变的帧直接跳过Whisper 转录音轨质量差的音频会被自动降级处理逐帧解读——视觉 LLM 描述每一帧且每次都会被告知上一帧发生了什么保证叙述在时间上不断线内容重构——按时间顺序合并所有帧描述再融合转录文本输出整段视频的描述。核心逻辑都在 video_analyzer/ 目录里设计细节见 docs/DESIGN.md。三步装好本地环境需要准备 Python 3.11 和 FFmpeg一个免费的多媒体工具链这里负责解码视频、拆出音轨。如果打算在本地跑大模型机器至少 16GB 内存32GB 更从容。git clone https://gitcode.com/gh_mirrors/vi/video-analyzer cd video-analyzer python3 -m venv .venv source .venv/bin/activate pip install .FFmpeg 按系统各取一行sudo apt install ffmpeg # Ubuntu/Debian brew install ffmpeg # macOS choco install ffmpeg # Windows第一条分析命令想完全本地运行先配好 Ollama一个在本地跑大模型的运行时ollama pull llama3.2-vision ollama serve然后把要处理的录像丢给它比如一段会议录像video-analyzer meeting.mp4 --whisper-model large人工整理这份会议纪要原本要花 2-3 小时交给它之后 15-30 分钟出结果约 75% 的整理时间省下来。给它一个具体问题输出会更聚焦video-analyzer meeting.mp4 --prompt 提取会议核心决策和行动计划第一次跑完你会看到什么analysis.json 里有什么跑完后 output/ 目录里的主产物是analysis.json。默认情况下提取出的音轨、关键帧等中间文件会被自动清理加上--keep-frames可以把关键帧留在frames/里供你核对。报告分四个板块metadata——用了哪个客户端、哪个模型、抽了多少帧、转录是否成功transcript——完整转录文本每段都带起止时间frame_analyses——逐帧描述按时间排列video_description——整段视频的综合摘要。大致长这样{ metadata: { model: llama3.2-vision, frames_extracted: 15, transcription_successful: true }, transcript: { text: 大家好今天我们来讲解产品架构..., segments: [ {...} ] }, frame_analyses: [ ... ], video_description: 这段5分钟的视频展示了产品架构讲解过程... }单帧描述会是这种口吻办公室场景穿蓝色衬衫的男子白板前讲解产品架构3分15秒处画面切到功能演示界面…… 综合摘要则按时间切块架构介绍 0-2 分钟、功能演示 2-4 分钟、问答环节 4-5 分钟结尾再给一句是否适合当培训材料的判断。完整样例在 docs/sample_analysis.json。按视频长短选帧间隔速度与精度的平衡点就在每分钟抽多少帧。帧越多细节越全耗时和模型调用也越多。按视频时长对号入座视频类型推荐帧间隔分析重心典型用途短视频5分钟2-3秒高精度细节产品演示、短视频分析中长视频5-30分钟5-10秒速度与精度平衡会议记录、教学视频长视频30分钟15-30秒只抓核心内容电影、长讲座实时监控1秒盯住关键动作安全监控、行为分析对应命令video-analyzer meeting.mp4 --frames-per-minute 20 # 会议记录取平衡 video-analyzer short_video.mp4 --frames-per-minute 60 # 短视频要精度 video-analyzer lecture.mp4 --max-frames 100 # 长视频抓核心一个容易踩的点--max-frames不是只取开头 N 帧而是把 N 帧均匀摊到整个视频里长视频末尾的内容也有机会被抽到。☁️ 本地还是云端模型跑在哪由你定本地跑数据不出机器会议录像、内部教程这类不想上传的内容直接用 Ollamavideo-analyzer video.mp4 --model llama3.2-vision video-analyzer video.mp4 --ollama-url http://localhost:11434第二条在你改了 Ollama 服务地址时才需要。云端跑任何 OpenAI 兼容 API想要速度可以接 OpenRouter 或 OpenAIvideo-analyzer video.mp4 \ --client openai_api \ --api-key your-key \ --api-url https://openrouter.ai/api/v1 \ --model meta-llama/llama-3.2-11b-vision-instruct:free模型名尾部带:free就是 OpenRouter 的免费档。用 OpenAI 的话video-analyzer video.mp4 --client openai_api --api-key sk-xxx --model gpt-4-vision-preview按目标挑模型隐私敏感 → Ollama 本地模型精度优先 → GPT-4o 或 GPT-4 Vision成本敏感 → OpenRouter 免费模型实时处理 → 较小的本地模型长视频与批量任务把处理时间压下来的三个技巧按分钟截取——--duration 600只处理前 10 分钟适合先试跑或把长视频分段消化从中间续跑——三个阶段对应--start-stage 1/2/3第一阶段提取成功后中断了用--start-stage 2直接从帧分析接着走记得配合--keep-frames让关键帧保留下来循环批处理——一目录视频逐个出报告for video in *.mp4; do video-analyzer $video --output results/${video%.*} done这类用法在两种场景里有实测收益教育平台上分析教学视频知识点提取准确率达 92%学生复习效率提升 3 倍内容理解深度增加 40%内容审核场景里处理速度约为人工的 5 倍违规内容识别率 95%人工审核工作量减少 80%。常用的参数写进配置文件参数优先级是命令行 config/config.json 内置默认值。同一组参数反复用就固化到配置文件里。最常动的几个frames.per_minute——每分钟抽帧数10-60 之间按视频长短调audio.whisper_model——语音识别模型档位small/medium/large越大越准也越慢clients.temperature——生成随机性0.1-0.3 输出更稳定response_length.frame——单帧描述上限128-512 字符之间选。全部参数说明在 docs/USAGES.md。 出问题时按这条路径排查先加--log-level DEBUG看日志卡在哪一阶段再对照症状下药症状多半的原因第一反应处理太慢帧数太多、本地 CPU 推理降到--frames-per-minute 10或切--client openai_api转录很慢Whisper 模型太大换--whisper-model small实在不行tiny描述对不上画面帧密度不够或模型偏弱--frames-per-minute 60试--model gpt-4o用--prompt收窄问题内存不足崩溃视频太长、帧太多--duration 300先跑 5 分钟--max-frames 30封顶转录用--whisper-model tiny还有一种不算故障的情况音频质量低于阈值时工具会自动放弃转录、只靠画面分析此时metadata里的transcription_successful会是false。遇到它不必紧张先检查音源清晰度再决定是否换large档模型。跑通之后下一步做什么先用 5 分钟以内的短视频确认整条链路没问题再碰长视频看metadata.frames_extracted和实际画面变化速度对比决定帧密度上调还是下调把高频参数写进config/config.json命令行只留每次不同的项为固定任务纪要、教学、审核各写一条专用--prompt对输出文风不满意时看看 video-analyzer-tune 子项目它能基于你的样本自动调优提示词模板通读一遍 docs/USAGES.md把全部参数留作速查【免费下载链接】video-analyzerAnalyze videos using LLMs, Computer Vision and Automatic Speech Recognition项目地址: https://gitcode.com/gh_mirrors/vi/video-analyzer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考