行业资讯
【VR】Imagine Before Concentration: Diffusion-Guided Registers Enhance Partially Relevant Video Retri
notePartially Relevant Video Retrieval任务描述文本只描述长视频中的一小段内容但系统要把整条未剪辑视频召回出来。DreamPRVR 用轻量扩散模型先“想象”出整条视频的全局语义再用它约束局部片段匹配避免只因某几个相似画面就召回错误视频。DreamPRVR 用 Triplet ranking loss InfoNCE 对比损失联合训练文本编码器、视觉侧投影与后续检索模块从而把文本和视频特征对齐到可比较的空间。对应lossTriplet ranking loss要求正确文本–视频相似度比错误文本–视频至少高一个 margin。InfoNCE loss在 batch 内拉近正文本–视频推远负文本和负视频。思路“先看全局再看局部”先生成全局 Register从整条视频特征出发用轻量扩散模型反复去噪、提纯得到少量代表整条视频整体语义的 global registers。再增强局部帧/片段特征将 global registers 与 frame/clip tokens 做注意力融合让每个局部片段理解“这整条视频到底在讲什么”从而压制偶然相似但上下文不匹配的局部高分。文本负责监督扩散方向同一视频的多条文本描述被视为互补语义构造更稳定的文本潜空间指导 Register 学到可靠全局语义。总结文本 embedding和【视频的帧级 clip级 embedding】计算相似度文章目录note一、研究动机二、论文核心1. 文本语义结构学习2. 截断扩散驱动的寄存器生成3. 寄存器增强的视频表示4. 联合优化目标三、实验结果与分析1. 检索性能对比2. 效率分析3. 消融实验4. 可视化分析四、总结一、研究动机《Imagine Before Concentration: Diffusion-Guided Registers Enhance Partially Relevant Video Retrieval》DreamPRVR是针对**部分相关视频检索PRVR**任务提出的创新方法PRVR任务的目标是根据给定的文本查询仅描述视频中部分片段从未修剪的长视频库中检索出包含相关片段的视频。现有PRVR方法存在两个关键缺陷全局上下文感知不完整传统方法如基于多示例学习MIL的范式仅关注“最佳匹配片段”忽略视频整体语义导致查询模糊时易被局部相似但全局无关的视频误导产生局部尖峰激活检索失败全局语义建模不足现有方法要么将全局上下文作为“训练正则化项”推理时不优化视频嵌入要么用简单的池化/单步映射提取全局特征无法从冗余、含噪声的未修剪视频中解耦出可靠的全局语义。此外文本查询本身存在不确定性同一视频的多个查询共享全局主题但表述不同现有方法盲目分离所有查询仅用多样性损失忽略了同视频查询的互补性进一步加剧了语义空间的混乱。二、论文核心DreamPRVR提出“先想象粗粒度全局寄存器生成、后聚焦细粒度跨模态对齐”的粗细粒度表示学习范式核心是通过扩散引导的全局寄存器Register捕获视频整体语义再用寄存器增强局部视频特征的细粒度学习。1. 文本语义结构学习Textual Semantic Structure Learning为解决文本查询的不确定性并构建结构化潜在空间结合两种损失查询相似性保持损失QSP Loss将同一视频的查询视为“互补正视图”拉近同视频查询的距离同时推远不同视频的查询保留同视频查询的语义一致性增强视频间区分度查询多样性损失L_div分离不同视频的查询丰富语义多样性。两者联合优化文本潜在空间使其既紧凑同视频查询又可分不同视频查询。此外通过文本扰动采样器TPS在文本均值特征上注入可控噪声建模查询的不确定性为寄存器生成提供语义对齐的文本监督。2. 截断扩散驱动的寄存器生成Register Generation via Truncated Diffusion寄存器是可学习的全局语义令牌用于编码视频的整体上下文生成过程分两步概率变分采样器PVS从视频特征中提取视频中心分布而非随机噪声作为扩散的初始状态——通过轻量级编码器将视频特征映射为高斯分布的均值μᵥ和方差σᵥ采样得到初始寄存器r_T避免随机噪声的语义无关性扩散寄存器估计器DRE以文本扰动特征为监督通过轻量级MLP扩散模型对初始寄存器r_T进行迭代去噪细化T10步逐步生成纯净的全局寄存器r₀捕获视频整体语义抑制局部噪声。3. 寄存器增强的视频表示Register-Augmented Video Representation将生成的全局寄存器r₀与视频的帧/片段特征拼接通过寄存器增强的高斯注意力块RAB融合设计非对称注意力掩码视频令牌可关注“其他视频令牌寄存器”利用全局上下文增强局部特征寄存器仅关注视频令牌避免寄存器被局部噪声干扰丢弃融合后的寄存器仅用增强后的视频特征计算跨模态相似度聚焦细粒度对齐。4. 联合优化目标总损失为L total L sim L tssl L pvs λ d r e L dre L_{\text{total}}L_{\text{sim}}L_{\text{tssl}}L_{\text{pvs}}\lambda_{dre} L_{\text{dre}}LtotalLsimLtsslLpvsλdreLdre其中L sim L_{\text{sim}}Lsim跨模态相似度损失TripletInfoNCE用于细粒度对齐L tssl L_{\text{tssl}}Ltssl文本语义结构损失QSPL_div优化文本潜在空间L pvs L_{\text{pvs}}LpvsPVS的KL损失约束视频中心分布接近标准高斯满足扩散前提L dre L_{\text{dre}}Ldre扩散去噪损失确保寄存器生成与文本监督对齐。三、实验结果与分析论文在ActivityNet Captions、Charades-STA、TVR三个PRVR基准数据集上验证性能核心结果如下1. 检索性能对比DreamPRVR在所有数据集的RKK1/5/10/100和SumR总和召回率上均优于现有SOTA方法ActivityNet CaptionsSumR156.1优于GMMFormerV2的154.9、HLFormer的154.9Charades-STASumR80.0优于HLFormer的78.7、GMMFormerV2的78.2TVRSumR193.1优于MGAKD的190.5、ARL的185.9。证明扩散引导的全局寄存器能有效提升PRVR的检索准确性尤其在处理长视频和模糊查询时优势显著。2. 效率分析DreamPRVR的参数36.14M和训练/推理时间与现有方法如HLFormer、GMMFormerV2相当训练时间/epoch33609ms略高于HLFormer的31463ms源于扩散迭代的开销推理时间特征提取4001ms检索时间3686ms与GMMFormerV2相近。由于视频特征可离线预计算扩散生成的寄存器在检索阶段无额外成本实际部署效率高。3. 消融实验逐一移除核心组件验证各模块的必要性无寄存器w/o registersSumR下降如ActivityNet从156.1→153.4证明全局上下文的重要性用自适应池化代替扩散生成w/ APSumR进一步下降151.9说明简单池化无法从噪声视频中提取可靠全局语义无DREw/o DRE单步映射SumR150.6证明迭代扩散细化对寄存器纯化的关键作用无PVSw/o PVS随机初始化SumR154.9说明视频中心的初始化比随机噪声更利于生成语义相关的寄存器移除各损失w/o L_pvs/L_dre/L_tsslSumR均下降证明文本结构学习、PVS约束、扩散监督的协同作用。4. 可视化分析文本潜在空间t-SNE仅用L_div时查询分散加入QSP Loss后同视频查询聚集、不同视频查询分离空间更结构化图4寄存器生成过程t-SNE初始寄存器无语义迭代细化后形成清晰的视频聚类图6证明扩散去噪能有效捕获全局语义时间注意力得分DreamPRVR抑制了无关视频的局部尖峰相关视频的峰值与真实片段对齐图5说明寄存器能引导模型关注全局相关的局部内容。四、总结DreamPRVR的核心创新是将扩散生成模型与全局寄存器结合通过“粗粒度想象全局语义、细粒度聚焦局部对齐”的范式解决PRVR的全局感知缺陷。实验证明其在性能和效率上的优势为PRVR提供了一种“生成-判别联合”的新思路。
郑州网站建设
网页设计
企业官网
