ReMoRa: Multimodal Large Language Model based on Refined Motion Representation for Long-Video UnderstandingAuthors:Daichi Yashima, Shuhei Kurita, Yusuke Oda, Komei SugiuraDeep-Dive Summary:ReMoRa: 基于精炼运动表示的长视频理解多模态大语言模型摘要 (Abstract)虽然多模态大语言模型 (MLLMs) 在多种任务中取得了显著成功但长视频理解仍然是一个重大挑战。本文重点研究 MLLM 的视频理解任务。由于自注意力机制随序列长度呈二次方复杂度处理完整的 RGB 帧流在计算上难以实现且高度冗余。在本文中我们提出了ReMoRa这是一种直接对视频压缩表示进行操作的视频 MLLM。它保留了稀疏的 RGB 关键帧以获取外观信息同时将时间动态编码为运动表示从而无需处理连续的 RGB 帧。这些运动表示充当光流的紧凑代理在不进行全帧解码的情况下捕获时间动态。为了优化基于块的运动表示中的噪声和低保真度我们引入了一个模块来去噪并生成细粒度的运动表示。此外我们的模型以随序列长度线性扩展的方式压缩这些特征。通过在长视频理解基准测试套件上的广泛实验我们证明了 ReMoRa 的有效性。在包括 LongVideoBench、NExT-QA 和 MLVU 在内的多个挑战性基准测试中ReMoRa 均优于基线方法。1. 引言 (Introduction)多模态大语言模型 (MLLMs) 在视觉语言任务中表现出色但长视频领域仍是一个开放挑战。目前的 MLLM 在处理长达数分钟甚至数小时的输入时性能会下降限制了其在视频摘要、机器人视觉场景解释或视障辅助技术等实际场景中的应用。长视频理解的主要障碍是处理长 RGB 帧序列的成本和冗余。现有模型大多依赖均匀采样这在计算可行性稀疏采样和捕获细粒度动态密集采样之间存在权衡。图 1. ReMoRa 概述。我们的方法利用压缩视频表示自然地将视频分为关键帧和压缩的帧间冗余。我们从中提取轻量但有噪声且粗糙的运动。随后模型将这些运动细化为清晰、细粒度的表示在保持效率的同时接近密集光流的保真度。视频压缩格式如 H.264将视频分解为少量的关键帧I-frames和大量轻量级的运动描述符P/B-frames。直接在压缩域操作可以避免重复处理几乎相同的帧。ReMoRa 利用 I 帧作为外观锚点利用 P/B 帧中的运动向量作为运动描述符。由于编解码器导出的运动向量通常是基于块且有噪声的我们提出了精炼运动表示 (RMR)模块将其转化为细粒度表示并引入分层运动状态空间 (HMSS)模块以线性时间捕捉长程时间依赖。2. 相关工作 (Related Work)当前的视频 MLLM 受限于二次方注意力和上下文窗口通常只能处理少量均匀采样的帧。虽然一些方法尝试动态修剪视觉标记或使用状态空间模型 (SSMs) 来建模长时依赖但它们仍需处理解码后的 RGB 帧存在冗余开销。压缩视频理解方向如 CoViAR, Video-LaVIT, EMA展示了利用编解码器内部结构进行高效学习的潜力。ReMoRa 遵循这一范式并通过 RMR 模块恢复类似密集光流的运动信息并利用 HMSS 模块进行长程建模。3. 初步准备 (Preliminaries)在视频压缩标准中I 帧内编码帧独立编码充当锚点P/B 帧预测/双向预测帧通过运动估计和补偿减少时间冗余仅存储运动向量和残差。形式上视频被分为K KK个图像群组 (GOPs)。每个G O P ( k ) \mathrm{GOP}^{(k)}GOP(k)包含一个 I 帧V ( k , 0 ) \mathbf{V}^{(k,0)}V(k,0)和一组后续 P/B 帧{ V ( k , t ) } t 1 T k − 1 \{\mathbf{V}^{(k,t)}\}_{t 1}^{T_k - 1}{V(k,t)}t1Tk​−1​。运动向量m ( k , t ) ( u , v ) \mathbf{m}^{(k,t)}(u,v)m(k,t)(u,v)表示块的位移m ( k , t ) ( u , v ) P ( k ′ , t ′ ) ( u ′ , v ′ ) − P ( k , t ) ( u , v ) ( 1 ) \mathbf{m}^{(k,t)}(u,v) \mathbf{P}^{(k^{\prime},t^{\prime})}(u^{\prime},v^{\prime}) - \mathbf{P}^{(k,t)}(u,v) \quad (1)m(k,t)(u,v)P(k′,t′)(u′,v′)−P(k,t)(u,v)(1)解码时重建为V ~ ( k , t ) f ( V ( k ′ , t ′ ) , m ( k , t ) ) R ~ ( k , t ) , ( 2 ) \tilde{\mathbf{V}}^{(k,t)} \mathbf{f}(\mathbf{V}^{(k^{\prime},t^{\prime})},\mathbf{m}^{(k,t)}) \tilde{\mathbf{R}}^{(k,t)}, \quad (2)V~(k,t)f(V(k′,t′),m(k,t))R~(k,t),(2)其中f ( ⋅ ) \mathbf{f}(\cdot)f(⋅)是运动补偿函数R ~ ( k , t ) \tilde{\mathbf{R}}^{(k,t)}R~(k,t)是解码残差。4. 方法 (Method)ReMoRa 的架构如图 2 所示由图像编码器、RMR 模块、HMSS 模块和预训练 LLM 组成。图 2. ReMoRa 架构该模型直接在压缩视频表示上运行。 (a) 包含图像编码器、RMR 模块、HMSS 模块和预训练 LLM。 (b) HMSS 模块融合每个 GOP 内的运动和外观特征并跨 GOP 建模长程依赖。4.1. 精炼运动表示模块 (Refined Motion Representation Module)RMR 模块旨在将稀疏、有噪声的块级运动向量映射为细粒度的密集运动场。通过预训练最小化预测运动场与离线模型Co-Tracker3生成的密集光流之间的L 2 L_2L2​损失。在微调阶段该模块为每个 GOP 生成运动嵌入E M ( k , t ) \mathbf{E}_{\mathrm{M}}^{(k,t)}EM(k,t)​。第k kk个 GOP 的聚合输入为Z ( k ) [ E I ( k ) ; E M ( k , 1 ) ; … ; E M ( k , T g − 1 ) ] . ( 4 ) \pmb{Z}^{(k)} \left[\pmb{E}_{\mathrm{I}}^{(k)};\pmb{E}_{\mathrm{M}}^{(k,1)};\ldots ;\pmb{E}_{\mathrm{M}}^{(k,T_{g} - 1)}\right]. \quad (4)Z(k)[EI(k)​;EM(k,1)​;…;EM(k,Tg​−1)​].(4)4.2. 分层运动状态空间模块 (Hierarchical Motion State Space Module)为了处理极长的标记序列HMSS 模块分为两个阶段编解码器感知选择性扫描使用双向 Mamba 块融合 GOP 内的运动和外观提取运动感知的 I 帧标记Z I ( k ) \pmb{Z}_{\mathrm{I}}^{(k)}ZI(k)​Z I ( k ) S S M l o c a l ( Z ( k ) ) [ 1 : N p ] , ( 5 ) \pmb{Z}_{\mathrm{I}}^{(k)} \mathrm{SSM}_{\mathrm{local}}\left(\pmb{Z}^{(k)}\right)_{[1:N_{p}]}, \quad (5)ZI(k)​SSMlocal​(Z(k))[1:Np​]​,(5)双向标记混合器跨 GOP 建模长程依赖H S S M g l o b a l ( [ Z I ( 0 ) ; Z I ( 1 ) ; … ; Z I ( K − 1 ) ] ) . ( 6 ) \pmb {H} \mathrm{SSM}_{\mathrm{global}}\left([\pmb{Z}_{\mathrm{I}}^{(0)};\pmb{Z}_{\mathrm{I}}^{(1)};\ldots ;\pmb{Z}_{\mathrm{I}}^{(K - 1)}]\right). \quad (6)HSSMglobal​([ZI(0)​;ZI(1)​;…;ZI(K−1)​]).(6)LLM 基于视频特征H \pmb{H}H和指令自回归生成输出y ^ n arg ⁡ max ⁡ y ^ ∈ V p t h e t a ( y ^ ∣ H , x x t , y ^ n ) , ( 7 ) \hat{y}_{n} \arg \max_{\hat{y}\in \mathcal{V}}p_{\\theta}(\hat{y}\mid \pmb {H},\pmb{x}_{\mathrm{xt}},\hat{\pmb{y}}_{ n}), \quad (7)y^​n​argy^​∈Vmax​ptheta​(y^​∣H,xxt​,y^​n​),(7)5. 实验 (Experiments)5.1. 实验设置我们使用 Qwen2 和 SigLIP ViT-SO 分别作为 LLM 和视觉编码器。在 LLaVA-Video-178K 数据集上进行 200K 指令微调。采用场景自适应视频预处理利用 H.264 编解码器根据视觉不连续性动态插入 I 帧。5.2. 结果5.2.1 定量结果如表 1 所示ReMoRa 在 LongVideoBench (60.8)、NExT-QA (84.2) 和 MLVU (72.1) 上取得了最高分平均分 (69.8) 也超过了所有基线模型。方法LLM 骨干LongVideoBenchNExT-QAMLVUVideoMMEPerception Test平均LLaVA-Video [70]Qwen2-7B58.283.270.863.367.968.7Qwen2.5-VL [3]Qwen2.5-7B59.574.670.265.1-67.4ReMoRa (Ours)Qwen2-7B60.884.272.164.467.769.8表 1. 各类视频 MLLM 在多项基准测试中的定量比较。在表 2 的开放式 VideoQA 基准测试中ReMoRa 在 ActivityNet-QA 上的准确率 (60.5) 和评分 (3.7) 均大幅领先。5.2.2 定性结果图 3 展示了在 NExT-QA 上的定性比较。ReMoRa 能够正确识别视频末尾男人滑下扶手后“检查裤子”的细节动作而基线模型 LLaVA-Video 错误地认为其“摔倒了”这体现了 ReMoRa 在捕获连续细微动作方面的优势。图 3. 定性案例对比。ReMoRa (Ours) 准确捕捉了人类动作的演变。表 3. 采样和帧选择策略的消融研究。实验表明使用编解码器感知 (CVR-aware) 的 I 帧选择比简单的均匀采样更有效且足够的 I 帧数量对性能至关重要。以下是该学术论文相关部分的中文摘要实验结果与分析Frames Sampling VideoMME NExT-QA(a)64CVR64.384.2(b)32CVR61.982.7©16CVR58.581.6(d)64Uniform62.482.8图 3 (ii) 展示了另一个成功的案例。针对“人是如何与狗玩耍的”这一问题我们的模型正确输出了选项 B “弹球bounce the ball”。这项任务具有挑战性因为仅观察原始 RGB 帧很难区分物体是在弹跳还是在飞行例如水平投掷。然而我们模型中使用的运动向量motion vectors使其能够识别出弹球特有的垂直、重复运动模式。相比之下基线方法错误地回答了选项 D “扔飞盘”这一答案未能捕捉到主要活动因为物体的轨迹与飞盘水平滑行的动作不符。这些例子强调了我们的模型在利用运动信息解释视频中复杂动作方面的有效性。表 4精细化运动表示RMR模块的消融研究。移除基于光流的预训练 (f) 或 RMR 模块 (g) 都会导致性能下降这表明带有光流预训练的 RMR 模块对于使用运动向量进行稳健的视频理解至关重要。模型 (Model)VideoMMENExT-QA(a) 全模型 (Full)64.384.2(f) 无对齐 (w/o Align)63.482.2(g) 无 RMR (w/o RMR)62.182.05.3. 消融研究我们进行了消融研究以分析模型 (a) 中各组件的贡献。VideoMME 和 NExT-QA 的结果总结在表 3、4 和 5 中。帧选择与时间分辨率。表 3 显示了不同帧选择和时间采样策略的消融研究。我们的全模型 (a) 在 VideoMME 和 NExT-QA 上分别获得了 64.3 和 84.2 的最高分。将模型限制为最多 32 帧 (b) 或 16 帧 © 的 I 帧会导致性能显著下降。特别是使用 16 帧限制 © 时性能比模型 (a) 分别低 5.8 和 2.6 分这证明了处理足够数量的关键帧对于全面理解尤其是长视频的重要性。我们还评估了均匀采样策略 (d)其得分比模型 (a) 分别低 1.9 和 1.4 分。这些结果共同表明我们提出的编码器感知动态选择策略对比处理有限数量的关键帧或简单的均匀采样更有效。精细化运动表示RMR的有效性。我们在表 4 中评估了 RMR 模块和光流预训练的贡献。没有经过光流预训练直接微调的模型 (f) 表现不如模型 (a)这表明预训练为解释运动向量和辅助训练过程提供了有用的归纳偏置。此外移除 RMR 模块并将图像组GOPs直接传递给 HMSS 模块的模型 (g) 表现也较差这表明 RMR 对于有效处理和利用嘈杂的原始运动向量至关重要。模型 (Model)VideoMMENExT-QA(a) HMSS (本文)64.384.2(h) 交叉注意力 (Cross-attn)62.581.9(i) 加法融合 (Add)61.381.5表 5GOP 聚合策略的消融研究。在两个基准测试中模型 (a) 的表现均优于依赖简单交叉注意力 (h) 或朴素加法融合 (i) 的变体突显了结构化时间建模对 GOP 集成的重要性。GOP 聚合策略。我们进一步消融了 GOP 聚合策略的设计。如表 5 所示使用 HMSS 模块聚合 GOP 的模型 (a) 取得了最高分。将该模块替换为简单的基于交叉注意力的融合 (h) 会导致性能下降这表明基于状态空间模型SSM的聚合专为建模连续时间动态而设计在整合以运动为主的 GOP 特征方面比交叉注意力更有效。同样采用朴素加法融合的模型 (i) 性能进一步退化因为它缺乏建模每个 GOP 内依赖运动的交互机制。这些结果证实我们的 HMSS 模块设计有效地保留了 GOP 中编码的时间结构实现了更丰富的运动与外观集成。6. 结论本研究重点关注视频多模态大语言模型Video MLLMs的视频理解。我们提出了 ReMoRa这是一种直接在压缩视频流上运行的视频 MLLM利用 I 帧和运动表示代替冗余的 RGB 帧以实现可扩展的长视频理解。为了提高运动线索的质量我们引入了精细化运动表示RMR模块来增强嘈杂的块级运动向量的保真度以及层次化运动状态空间HMSS模块来实现线性时间复杂度的长程时间建模。实验表明ReMoRa 在包括 LongVideoBench、NExT-QA 和 MLVU 在内的多个挑战性长视频理解基准测试中优于强基线方法。Original Abstract:While multimodal large language models (MLLMs) have shown remarkable success across a wide range of tasks, long-form video understanding remains a significant challenge. In this study, we focus on video understanding by MLLMs. This task is challenging because processing a full stream of RGB frames is computationally intractable and highly redundant, as self-attention have quadratic complexity with sequence length. In this paper, we propose ReMoRa, a video MLLM that processes videos by operating directly on their compressed representations. A sparse set of RGB keyframes is retained for appearance, while temporal dynamics are encoded as a motion representation, removing the need for sequential RGB frames. These motion representations act as a compact proxy for optical flow, capturing temporal dynamics without full frame decoding. To refine the noise and low fidelity of block-based motions, we introduce a module to denoise and generate a fine-grained motion representation. Furthermore, our model compresses these features in a way that scales linearly with sequence length. We demonstrate the effectiveness of ReMoRa through extensive experiments across a comprehensive suite of long-video understanding benchmarks. ReMoRa outperformed baseline methods on multiple challenging benchmarks, including LongVideoBench, NExT-QA, and MLVU.PDF Link:2602.16412v1部分平台可能图片显示异常请以我的博客内容为准