摘要Qwen3-VL-Embedding 和 Qwen3-VL-Reranker 是基于 Qwen3-VL 基础模型构建的多模态检索与排序模型系列在 MMEB-V2 基准测试中取得了 77.8 分的 SOTA 成绩。本文深入解析其架构设计、训练策略和核心实现并通过代码实践展示如何在实际场景中应用这些模型。Figure 1: 统一多模态表示空间示意图。Qwen3-VL-Embedding 将多源数据文本、图像、视觉文档和视频映射到共同的语义流形1. 背景与问题定义1.1 多模态检索的挑战多模态内容的爆炸式增长其中充斥着图像、文档截图、视频等多样化数据模态这要求检索系统能够跨模态理解理解文本与图像/视频之间的语义关联统一表示空间将不同模态映射到同一语义空间细粒度排序对候选结果进行精确的相关性评分1.2 现有方案的局限虽然 CLIP 等模型在图像-文本对齐方面取得了成功但面对复杂多模态检索任务时仍存在不足模态覆盖有限难以处理视频、视觉文档等复杂模态任务泛化能力弱在分类、QA、检索等不同任务间性能不平衡部署效率低缺乏灵活的维度选择和量化支持Qwen3-VL-Embedding 系列通过基于 VLM 的统一架构和多阶段训练策略有效解决了这些问题。2. 架构设计2.1 整体架构Qwen3-VL-Embedding 和 Qwen3-VL-Reranker 采用双塔Dual-Tower和单塔Single-Tower两种架构分别服务于召回和精排两个阶段模型规格模型类型参数量层数序列长度Embedding维度量化支持MRL支持Qwen3-VL-Embedding-2B2B2832K2048✅✅Qwen3-VL-Embedding-8B8B3632K4096✅✅Qwen3-VL-Reranker-2B2B2832K---Qwen3-VL-Reranker-8B8B3632K---2.2 Embedding 模型双塔架构Embedding 模型采用双塔架构分别对query和文档进行独立编码适合大规模检索场景核心特点独立编码query和文档可独立编码支持离线索引构建高效检索通过余弦相似度快速计算相关性灵活输入支持文本、图像、视频及其组合输入模板|im_start|system{Instruction}|im_end||im_start|user{Instance}|im_end||endoftext|2.3 Reranker 模型单塔架构Reranker 模型采用单塔架构通过交叉注意力机制进行深度交互核心特点深度交互Query 和 Document 在同一序列中进行交叉注意力计算精确评分通过预测 “yes”/“no” token 的概率计算相关性分数细粒度判断能够捕捉微妙的语义差异输入模板|im_start|systemJudge whether the Document meets the requirements based on the Query and the Instruct provided. Note that the answer can only be yes or no.|im_end||im_start|userInstruct: {Instruction}Query: {Query}Document: {Document}|im_end|3. 核心实现解析3.1 Embedding 模型实现基于代码分析Embedding 模型的核心实现包含以下几个关键组件3.1.1 模型封装类设计要点继承Qwen3VLPreTrainedModel复用 Qwen3-VL 的视觉-语言理解能力直接返回 hidden states不进行生成任务的前向传播3.1.2 特征提取与池化Embedding 模型的关键在于如何从模型的 hidden states 中提取固定维度的向量表示为什么使用最后一个 token|endoftext|token 位于序列末尾聚合了所有上下文信息相比平均池化最后一个 token 能更好地保留序列的语义完整性与训练时的目标一致使用最后一个 token 的 hidden state3.1.3 多模态输入处理模型支持灵活的输入格式包括文本、图像、视频及其组合def format_model_input(self, textNone, imageNone, videoNone, instructionNone, fpsNone, max_framesNone): 格式化多模态输入为对话格式 conversation [ {role: system, content: [{type: text, text: instruction or self.default_instruction}]}, {role: user, content: content} ] # 处理视频输入 if video: if isinstance(video, list): # 帧序列均匀采样 video_content sample_frames(video_content, self.num_frames, self.max_frames) elif isinstance(video, str): # 视频文件按 fps 采样 video_kwargs {fps: fps or self.fps, max_frames: max_frames or self.max_frames} content.append({type: video, video: video_content, **video_kwargs}) # 处理图像输入 if image: content.append({ type: image, image: image_content, min_pixels: self.min_pixels, # 最小像素数4×32×32 4096 max_pixels: self.max_pixels # 最大像素数1800×32×32 ≈ 1.8M }) # 处理文本输入 if text: content.append({type: text, text: text}) return conversation关键参数图像分辨率控制min_pixels4096,max_pixels1843200约 1280×1440视频采样策略默认 1 FPS最多 64 帧总像素预算约 786 万像素动态分辨率保持宽高比的同时限制 token 消耗3.1.4 完整推理流程def process(self, inputs: List[Dict[str, Any]], normalize: bool True): 完整的 Embedding 生成流程 # 1. 格式化输入为对话格式 conversations [self.format_model_input( textele.get(text), imageele.get(image), videoele.get(video), instructionele.get(instruction), fpsele.get(fps), max_framesele.get(max_frames) ) for ele in inputs] # 2. 预处理tokenize 视觉特征提取 processed_inputs self._preprocess_inputs(conversations) processed_inputs {k: v.to(self.model.device) for k, v in processed_inputs.items()} # 3. 前向传播 outputs self.forward(processed_inputs) # 4. 池化提取最后一个 token 的 hidden state embeddings self._pooling_last( outputs[last_hidden_state], outputs[attention_mask] ) # 5. L2 归一化用于余弦相似度计算 if normalize: embeddings F.normalize(embeddings, p2, dim-1) return embeddings3.2 Reranker 模型实现Reranker 模型的核心在于如何计算 Query-Document 对的相关性分数3.2.1 相关性分数计算设计原理利用语言模型 head 中 “yes” 和 “no” token 的权重差通过sigmoid(logit_yes - logit_no)计算相关性概率相比直接分类这种方式能更好地利用预训练模型的语义理解能力3.2.2 输入格式化Reranker 需要将 Query 和 Document 组合到同一序列中4. 训练策略4.1 多阶段训练流程Qwen3-VL-Embedding 采用三阶段训练策略逐步提升模型性能Stage 1: 对比预训练Contrastive Pre-training目标在大规模合成数据上建立基础的相关性理解能力数据使用 Qwen3-VL-32B 生成的多模态、多任务合成数据损失函数扩展的 InfoNCE 损失其中 包含正样本对K 个硬负样本Batch 内其他queryBatch 内其他文档关键技巧False Negative 掩码机制当相似度分数过高时可能是误判的负样本需要掩码避免错误优化。Stage 2: 多任务对比学习与监督微调目标在高质量数据上提升多任务性能数据精选的公开数据集 内部数据 采样合成数据改进使用 Stage 1 训练的模型进行数据挖掘提升数据质量针对不同任务类型设计专门的对比目标同时训练 Reranker 模型损失函数调整移除 query-query 和 document-document 对比项专注于 query-document 对齐Stage 3: 蒸馏与模型合并目标从 Reranker 中蒸馏相关性判别能力流程蒸馏使用 Reranker 生成细粒度相关性分数指导 Embedding 模型训练模型合并将蒸馏后的模型s2与 Stage 2 模型s1合并平衡检索和分类/QA 任务性能4.2 数据合成策略Figure 3 4: 训练数据中不同类别的分布左和数据合成种子池的分布右4.2.1 种子池构建质量过滤过滤低分辨率、异常宽高比的素材结构优化视频场景切分、去除静态/损坏片段细粒度标注使用 Qwen3-VL-32B 生成类别标签跨模态对齐使用 GME 模型过滤低置信度或视觉-文本不对齐的样本类别重平衡确保各类别数据分布均衡4.2.2 任务特定数据合成图像任务分类图像 分类指令 → 类别标签问答图像 问题 → 答案检索搜索文本 → 候选图像视频任务分类视频 分类任务 → 类别问答视频 问题 → 答案检索文本描述 → 候选视频时刻检索文本query 关键帧 → 视频片段4.3 硬负样本挖掘硬负样本在对比学习中至关重要关键参数threshold_positive正样本分数阈值margin安全边距避免误判负样本5. 高效推理技术5.1 Matryoshka Representation Learning (MRL)MRL 允许在训练时同时优化多个维度的表示推理时可根据存储和计算约束灵活选择维度优势无需重训练即可调整维度在存储和性能间灵活权衡训练时只需覆盖足够密集的维度集合5.2 Quantization-Aware Training (QAT)通过量化感知训练模型在低精度int8 或 binary下仍能保持性能量化效果int8 量化性能损失可忽略 1%Binary 量化性能下降明显但随着维度降低影响增大Figure 6: 不同嵌入维度和量化方案下的性能分析MSMARCO 和 VL3-Syn 数据集展示了 MRL 和 QAT 技术在文本检索和跨模态图像检索任务上的性能表现可以看到在合理维度范围内性能下降是可接受的。6. 性能评估6.1 MMEB-V2 基准测试Qwen3-VL-Embedding-8B 在 MMEB-V2 基准测试中取得了77.8 分的综合成绩排名第一模型参数量Image OverallVideo OverallVisDoc OverallAllVLM2Vec-V22B64.934.669.259.2GME-8B8B56.038.479.359.1Ops-MM-embedding-v18B72.753.874.468.9RzenEmbed8B75.955.781.372.9Qwen3-VL-Embedding-2B2B75.061.979.273.2Qwen3-VL-Embedding-8B8B80.167.182.477.8关键亮点图像任务80.1 分在分类、QA、检索、定位等任务上全面领先视频任务67.1 分相比其他模型有显著提升视觉文档82.4 分在 VDR、VisRAG 等任务上表现优异6.2 训练阶段性能分析Figure 7 展示了图像空间分辨率和视频时间/空间粒度对模型性能的影响可以看到性能随资源消耗增加而提升但在最高消耗水平时出现轻微回归。模型阶段Image OverallVideo OverallVisDoc OverallAlls0 (预训练)65.857.574.866.6s1 (多任务微调)74.860.377.172.1s2 (蒸馏)71.359.580.971.5s3 (合并)75.061.979.273.2观察Stage 2 蒸馏后检索任务性能显著提升但分类/QA 任务略有下降Stage 3 模型合并成功平衡了各项任务性能6.3 Reranker 性能模型SizeMMEB-v2(Retrieval)MMTEB(Retrieval)JinaVDRViDoRe(v3)Qwen3-VL-Embedding-2B2B73.468.171.052.9jina-reranker-m02B--82.257.8Qwen3-VL-Reranker-2B2B75.170.080.960.8Qwen3-VL-Reranker-8B8B79.274.983.666.7Reranker 模型相比基础 Embedding 模型有1.7-4.1 分的提升。6.4 纯文本任务性能在 MMTEB 多语言基准测试中Qwen3-VL-Embedding-8B 取得了67.9 分的平均任务分数与同规模的纯文本 Embedding 模型性能相当模型SizeMean (Task)RetrievalSTSQwen3-Embedding-8B8B70.670.981.1Qwen3-VL-Embedding-8B8B67.969.475.4虽然多模态能力带来了一定的文本性能损失但仍在可接受范围内。7. 在 GUI-Agent 中的知识增强落地考量GUI-Agent图形界面智能体作为能够理解和操作图形界面的 AI 系统其核心挑战在于如何从屏幕截图、UI 元素、文档图像等多模态信息中提取知识并基于这些知识做出准确的决策。Qwen3-VL-Embedding 和 Qwen3-VL-Reranker 为 GUI-Agent 提供了强大的多模态知识检索与增强能力。7.1 GUI-Agent 的知识增强需求GUI-Agent 在执行任务时面临以下知识检索需求1. 屏幕理解与上下文检索场景Agent 需要理解当前屏幕截图检索相关的操作文档、教程或历史经验挑战屏幕截图包含复杂的 UI 布局、文本、图标等混合信息解决方案使用 Qwen3-VL-Embedding 将屏幕截图编码为向量在知识库中检索相似的操作场景2. 文档与界面元素的跨模态匹配场景用户查询如何登录需要匹配包含登录界面截图的操作文档挑战查询是文本知识库包含截图、PDF 页面等视觉内容解决方案利用统一的多模态表示空间实现文本查询与视觉文档的语义对齐3. 操作步骤的精确排序场景检索到多个相关操作步骤需要按相关性排序挑战需要理解查询意图与候选步骤的细粒度匹配度解决方案使用 Reranker 模型对候选结果进行精确排序7.2 架构设计在 GUI-Agent 中集成 Qwen3-VL-Embedding 和 Reranker 的典型架构class GUIAgentKnowledgeBase: GUI Agent 知识增强系统 def __init__(self): # 初始化 Embedding 和 Reranker 模型 self.embedder Qwen3VLEmbedder( model_name_or_path./models/Qwen3-VL-Embedding-2B, default_instructionRetrieve relevant GUI operation knowledge. ) self.reranker Qwen3VLReranker( model_name_or_path./models/Qwen3-VL-Reranker-2B ) # 向量数据库如 Milvus、Qdrant self.vector_db None def index_knowledge(self, knowledge_items): 索引知识库支持文本、截图、PDF 页面等 for item in knowledge_items: # 多模态输入文本描述 截图/PDF 页面 embedding self.embedder.process([{ text: item.get(description, ), image: item.get(screenshot, None), instruction: Represent GUI operation knowledge. }]) # 存储到向量数据库 self.vector_db.insert(item[id], embedding) def retrieve(self, query_screenshot, query_text, top_k10): 检索相关知识 # 1. 生成查询向量屏幕截图 文本描述 query_emb self.embedder.process([{ image: query_screenshot, text: query_text, instruction: Retrieve relevant GUI operation knowledge. }]) # 2. 向量检索 Top-K 候选 candidates self.vector_db.search(query_emb, top_ktop_k) # 3. Reranker 精排 rerank_inputs { query: { image: query_screenshot, text: query_text }, documents: [ { text: cand[description], image: cand[screenshot] } for cand in candidates ] } scores self.reranker.process(rerank_inputs) # 4. 返回排序后的结果 ranked_results sorted( zip(candidates, scores), keylambda x: x[1], reverseTrue ) return ranked_results7.3 关键落地考量7.3.1 知识库构建多模态知识组织操作文档文本描述 关键步骤截图历史经验成功/失败的操作序列包含屏幕截图UI 组件库常见 UI 元素的截图与功能描述错误案例错误截图 解决方案文本索引策略# 示例索引操作文档knowledge_items [ { id: login_guide_001, description: 用户登录操作指南点击登录按钮输入用户名和密码, screenshot: screenshots/login_page.png, category: authentication, steps: [点击登录, 输入用户名, 输入密码, 点击确认] }, # ... 更多知识项]7.3.2 查询优化多模态查询构建屏幕截图当前 GUI 状态用户意图文本自然语言描述的操作目标上下文信息历史操作、错误信息等Instruction 定制# 针对不同场景定制 instructioninstructions { operation_guide: Retrieve GUI operation guides matching the current screen., error_solution: Find solutions for the error shown in the screenshot., ui_component: Identify UI components and their functions in the screenshot.}7.3.3 性能优化批量处理GUI Agent 可能需要同时处理多个屏幕截图使用批量编码提升吞吐量def batch_retrieve(self, queries, batch_size8): 批量检索提升效率 query_embs [] for query in queries: emb self.embedder.process([{ image: query[screenshot], text: query[text] }]) query_embs.append(emb) # 批量向量检索 all_results self.vector_db.batch_search(query_embs, top_k10) # 批量 Rerank rerank_results [] for i, candidates in enumerate(all_results): scores self.reranker.process({ query: queries[i], documents: candidates }) rerank_results.append(sorted( zip(candidates, scores), keylambda x: x[1], reverseTrue )) return rerank_resultsMRL 维度选择GUI Agent 场景下知识库可能包含大量截图使用 MRL 降低存储成本选择 512 或 1024 维即可# 使用降维后的 Embeddingembeddings_512 embeddings[:, :512] # 75% 存储节省性能损失 2%7.3.4 实时性要求缓存策略常见屏幕状态的 Embedding 可以缓存Reranker 结果可以缓存避免重复计算异步处理Embedding 生成和向量检索可以异步执行Reranker 仅在需要高精度时调用import asyncioasync def async_retrieve(self, query): 异步检索提升响应速度 # 并行执行 Embedding 和向量检索 query_emb, candidates await asyncio.gather( self.embedder.process_async([query]), self.vector_db.search_async(query_emb) ) # Reranker 可以按需调用 if len(candidates) 5: return self.reranker.process(...) return candidates7.4 总结Qwen3-VL-Embedding 和 Qwen3-VL-Reranker 为 GUI-Agent 提供了强大的多模态知识检索能力通过统一的表示空间和精确的排序机制能够有效提升 Agent 的理解和操作能力。在实际落地中需要重点关注知识库构建、查询优化、性能调优等方面结合 GUI-Agent 的特点进行定制化设计。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】