noteLLaVA-OneVision-2LLaVA-OV-2 是 LLaVA-OneVision 系列的下一代开源多模态大模型定位是一个 8B 级统一视觉语言模型同一个模型同时处理 图像、长视频、空间定位、时间定位、目标跟踪、操作轨迹理解 等任务。官方项目页强调它是 “fully-open recipe”模型、数据、训练流程、日志都开放论文摘要也说它是目前 OneVision 系列里能力最强的版本Codec-stream Tokenization先看 codec 里的运动/残差信息 → 选择关键 GOP/区域 → 打包成视觉 canvas → 再转视觉 token提出了LLaVA-OneVision-2一种编解码器对齐的长视频多模态语言模型通过编解码器流token化和共享3D RoPE实现了更高效的视频理解。实验结果表明LLaVA-OneVision-2在多个视频理解、空间推理和时间定位基准上取得了显著的提升。该模型不仅扩展了长视频推理的事件级覆盖范围还保留了帧采样作为细节敏感感知的补充路径。未来的工作将进一步扩展编解码器对齐范式实现流感知和小时级或更长编解码器上下文建模。文章目录note一、研究背景二、LLaVA-OneVision-21、模型架构2、Codec-stream Tokenization3、OneVision-Encoder Windowed Attention4、共享3D RoPE5、模型训练三、实验设计四、结果与分析Reference一、研究背景链接https://github.com/EvolvingLMMs-Lab/LLaVA-OneVision-2研究问题这篇文章要解决的问题是如何在视频理解中实现更高效的感知智能。具体来说现有的视频理解模型大多采用帧采样的方式这种方式虽然简单但会忽略视频的连续空间结构和运动动态导致对视频的理解不够全面。研究难点该问题的研究难点包括如何在有限的视觉token预算下更稳定地压缩长视频token如何有效地分配视觉token以捕捉视频中的事件承载内容如何在高频、密集重复的运动中实现细粒度的时间定位。相关工作该问题的研究相关工作包括Open Large Vision-Language Models (LVLMs)、视频编解码器的帧内和帧间预测、以及视频理解的时序定位任务。现有的工作主要集中在帧采样和混合分辨率帧的设计上但这些方法仍然无法充分捕捉视频的连续性和动态性。二、LLaVA-OneVision-2这篇论文提出了LLaVA-OneVision-2LLaVA-OV-2用于解决视频理解中的感知智能问题。1、模型架构模型架构LLaVA-OneVision-2基于OneVision-EncoderOV-Encoder并结合了窗口化注意力机制以实现高效的局部计算。该模型将压缩视频视为一个连续的比特成本流通过比特成本动态确定自适应的时间组并使用运动残差线索将显著的空间证据浓缩成紧凑的视觉画布。模型架构2、Codec-stream Tokenization它不是盲目抽帧而是借助 codec 信息做 事件感知的视频 token 压缩。论文摘要里说这比固定 GOP / 固定抽帧更适合长视频在相同 visual-token budget 下codec-stream 输入在 JumpScore temporal grounding 上提升 9.7 分分析压缩视频码流 → 看哪里 bit-cost 高、运动残差强 → 自适应分组 → 选择关键空间区域 → 形成 compact visual canvases编解码器流token化编解码器流token化是该模型的核心创新。它将压缩视频视为一个连续的比特成本流比特成本的动态变化决定了自适应的时间组边界而运动残差线索则将显著的空间证据浓缩成紧凑的合并对齐的视觉画布。这种流感知设计使得token密度跟随压缩流的比特成本残差轮廓在感知转变处密集在可预测间隔处稀疏从而实现比固定图像组GOP更稳定的长视频token压缩。步骤通俗比喻核心操作与目的1. GOP 划分(看哪里值得细看)给电影分镜头视频编码本来就是一段段GOP存的。这里根据码率高低P/B Packet Energy来切分。码率高的地方画面变化剧烈、细节多就多给它分配“名额”。2. 打分(哪里重要选哪里)挑重点画草图结合“运动幅度”Motion和“残差细节”Residual即画面模糊/清晰程度给画面打分。哪里有明显的动作或细节丰富哪里分数就高。3. 区块选择(挑最好的碎片)精挑细选拼图块把画面切成 2x2 的小格子只挑打分最高的那些格子图中深色方块。这就实现了动态分辨率的核心思想重要的地方看得清不重要的地方直接忽略。4. 画布打包(重新排排坐)塞进紧凑小画布把选出来的高分块像俄罗斯方块一样紧凑地拼进新的画布Canvases里。·I-canvas放关键帧全景。·P-canvas放带动作的帧局部细节。这样做的结果是最终生成的 Tokens 密度完全跟着视频原本的“信息量”走而不是死板的固定帧数。和其他做法的区别路线代表思路均匀抽帧简单但容易漏关键片段视觉 token 压缩压缩冗余 token让视频更长temporal grounding先找关键时间段再密集看agentic crop/clip模型主动请求看某段codec-aware tokenization利用视频压缩码流判断哪里重要memory / streaming分段看视频维护长期记忆3、OneVision-Encoder Windowed Attention模块作用OneVision-Encoder统一编码图片、视频、空间任务Windowed Attention在保持原生分辨率的同时降低局部计算成本native resolution不粗暴压缩图片/视频保留细节这对细粒度感知很重要比如文字、目标边界、操作轨迹、局部运动。4、共享3D RoPE共享3D RoPE共享的3D RoPE将编解码器画布、采样帧和图像放置在统一的时空坐标系统中进一步增强了模型的感知能力。三类视觉输入图片、采样帧、codec visual canvases5、模型训练数据作用约 8M re-captioned video samples视频预训练约 4M spatial corpus空间理解/定位微调JumpScore benchmark评测高频重复运动里的细粒度时间定位三、实验设计数据收集LLaVA-OneVision-2的训练数据集包括约800万重新注释的视频样本和400万的2D/3D空间语料库。数据集涵盖了从30秒到15分钟的长视频字幕并且在每个训练阶段逐步增加帧预算。训练过程训练过程分为四个阶段逐步增加监督范围从图像定位到长视频和空间推理。每个阶段使用不同的数据集和帧预算进行训练确保模型能够逐步学习和适应不同的视频理解任务。评估基准LLaVA-OneVision-2在多个视频理解、空间推理和图像文档理解基准上进行评估。特别地引入了JumpScore时间定位基准用于评估高频、密集重复运动中的细粒度时间定位能力。四、结果与分析视频理解在18个视频理解基准上LLaVA-OneVision-2-8B平均得分提高了4.3点62.5 vs. 58.2。在时序定位任务上编解码器输入比帧采样输入提高了9.7点。空间推理在11个空间推理基准上LLaVA-OneVision-2-8B平均得分提高了5.3点63.5 vs. 58.2。特别是在CrossPoint和TraceSpatial-3D基准上分别提高了35.0点和近4倍。图像和文档理解在11个图像和文档理解基准上LLaVA-OneVision-2-8B保持了竞争力并在V*-Bench上领先。JumpScore在JumpScore基准上LLaVA-OneVision-2-8B达到了74.9 JumpScore mAP比Qwen3-VL-8B提高了44.8点。JumpScore简介JumpScore 考 VideoLLM 能不能在看起来一模一样的重复动作里真正记住时序节奏并精确定位每一拍采用 mAPδδ ∈ {0.1s, 0.2s, 0.3s}即预测时间戳与真值在 δ 秒容差内的平均精度均值。Reference[1] LLaVA-OneVision-2: Towards Next-Generation Perceptual Intelligence[2] 多模态模型终于不用「抽帧看世界」LLaVA-OneVision-2.0全开源全帧率技术解读