1. 从“词不达意”到“精准召回”Query扩展的挑战与机遇你有没有遇到过这样的尴尬在搜索引擎里输入“苹果最新款”结果返回了一大堆水果苹果的图片和新闻而你真正想找的其实是iPhone 16的评测。或者你想找“怎么给猫洗澡”搜出来的结果却教你如何清洗毛绒玩具。这种“词不达意”的困境在搜索技术里有个专业术语叫做“词汇鸿沟”Vocabulary Gap。简单说就是用户脑子里想的、嘴里问的和文档库里实际存储的表述方式存在着天然的、巨大的差异。传统搜索引擎比如我们熟知的BM25这类基于关键词匹配的“稀疏检索”模型很大程度上就是在和这个“鸿沟”作斗争。它们很擅长处理“苹果公司”对“Apple Inc.”这种明确的匹配但对于更微妙、更复杂的意图就显得力不从心了。为了解决这个问题工程师们想了很多办法。其中查询扩展Query Expansion是一种历史悠久且非常核心的技术。它的思路很直接既然用户输入的词Query不够那我就帮你“脑补”一些相关的词用这个更丰富的Query去搜不就能找到更多相关文档了吗最经典、应用最广的扩展方法叫做伪相关反馈Pseudo-Relevance Feedback, PRF。它的工作流程是这样的系统先用你的原始Query去搜一遍把返回的前K个比如前10个文档当作是“伪相关”文档假设它们都是相关的。然后从这些文档里提取出一些高频、重要的关键词把这些词和你的原始Query拼在一起形成一个新的、更长的Query再去进行第二轮搜索。这个方法有点像“顺藤摸瓜”利用初步搜索结果来丰富查询。它确实有效在很多场景下都能提升召回率Recall也就是找到更多相关文档的能力。但是PRF有个致命的弱点它严重依赖第一轮搜索的质量。如果第一轮搜偏了拿到的“伪相关”文档本身就是噪音那么提取出来的扩展词只会让搜索结果雪上加霜引入更多无关信息。这就像你问路第一个人指错了方向你还根据他指的方向去问第二个人结果只会越走越远。那么有没有一种方法能不依赖有偏差的初步搜索结果而是利用更通用、更丰富的知识来扩展Query呢这就是大模型Large Language Model, LLM登场的时候了。想象一下你身边有一个知识渊博、理解力超强的助手。你问它“苹果最新款”它不仅能理解这里的“苹果”大概率指的是科技公司还能联想到“iPhone”、“发布会”、“评测”、“价格”、“配置”等一系列相关概念。如果让它来帮你扩展搜索词是不是会聪明得多没错谷歌的研究团队正是这么想的。他们发表了一篇重量级论文探索如何用大模型特别是像Flan-UL2这样拥有200亿参数的大家伙来驱动Query扩展并且引入了一个神奇的“外挂”——思维链Chain-of-Thought, CoT。他们的实验结果显示这种方法在MS-MARCO和BEIR等权威检索基准测试上能将Top-1000的文档召回率提升约3%。别小看这3%在搜索引擎每天处理海量请求、竞争激烈的环境下这已经是相当可观的进步了。更重要的是它在Top-10这种更贴近用户实际体验的召回率上也有显著提升这意味着前几页结果的质量更高了。这背后的核心思想就是让大模型不再只是简单地“吐出”几个扩展关键词而是模仿人类的思考过程先“理解”问题再“推理”出需要补充哪些信息最后“生成”一段包含丰富相关术语的说明文字。这个过程就是思维链。接下来我们就深入看看这个“思考型”的Query扩展到底是怎么玩的又比传统方法强在哪里。2. 思维链CoT让大模型“一步一步”地想问题思维链Chain-of-Thought, CoT提示是让大模型“秀出”它的推理过程。我们平常让模型回答问题它直接给答案。但用了CoT我们会要求它“别急着给答案先说说你是怎么想的分几步来考虑这个问题。”为什么这对Query扩展特别有用呢因为思考的过程本身就会产生大量与核心问题相关的术语和上下文。比如用户查询是“塔塔汽车收购了哪家英国豪华汽车品牌”。传统扩展PRF系统先搜“塔塔汽车”可能找到一些介绍印度塔塔集团的文档从中提取“印度”、“企业集团”、“钢铁”等词。这些词虽然相关但对解决“收购了谁”这个问题帮助有限甚至可能引入噪音。大模型零样本/小样本扩展直接让模型生成答案或扩展词。对于小模型或简单提示它可能直接回答“捷豹路虎”但生成的扩展文本很短信息密度不够。大模型 CoT扩展我们给模型的提示可能是“请逐步推理用户想知道塔塔汽车收购了哪个英国豪华汽车品牌。首先需要确认塔塔汽车是印度的一家大型企业。其次需要回忆塔塔汽车在汽车领域的重要收购案。最后给出具体的品牌名称。” 模型在生成这个逐步推理的过程中很可能会自然地提到“印度塔塔集团”、“2008年收购”、“捷豹Jaguar”、“路虎Land Rover”、“英国豪华汽车制造商”、“福特汽车公司此前拥有”等一系列丰富的术语和背景信息。你看这个推理文本里包含的关键词无论是“捷豹”、“路虎”还是“收购”、“英国”、“豪华汽车”都与原始Query高度相关并且比单纯一个品牌名包含了更丰富的语义信息。当把这些由CoT生成的、带有上下文的长文本作为扩展后的Query去进行BM25检索时它与那些详细描述此次收购事件的文档之间的词汇重叠度就会大大增加从而显著提升召回相关文档的概率。谷歌的论文里系统对比了多种提示方法我们可以用一个表格来清晰地看它们的区别提示方法核心思路是否需要示例是否引入外部文档PRF输出特点Q2D (Query-to-Doc)让模型根据Query生成一个伪文档Pseudo-Document需要少样本可选Q2D/PRF生成一段模拟相关文档的文本Q2D/ZS (零样本)同上但无需示例不需要否直接生成伪文档质量不稳定Q2E (Query-to-Expansion)让模型直接生成扩展关键词需要少样本可选Q2E/PRF输出一组关键词列表Q2E/ZS (零样本)同上但无需示例不需要否直接生成关键词可能不准确CoT (思维链)让模型分步推理解释答案原因不需要零样本否生成一段包含推理步骤和解释的文本通常较长且信息丰富CoT/PRF在CoT的基础上提供前3个PRF文档作为额外上下文不需要是结合了外部文档信息和大模型推理能力生成更 grounded 的扩展文本论文中的实验数据清晰地表明在模型规模足够大如Flan-UL2 20B参数时CoT和CoT/PRF提示在大多数指标上表现最佳。尤其是CoT它生成的解释性文本虽然冗长但恰恰是这种“冗长”带来了更多潜在的有用关键词极大地缓解了词汇鸿沟问题。而CoT/PRF则更进一步它让模型在“思考”时参考了实际的检索文档相当于给了模型一个“参考资料”这样既能利用大模型的知识和创造力又能被实际的相关文档“锚定”避免幻觉或事实性错误在排名敏感指标如MRR10上表现尤其出色。3. 实战指南如何亲手实现CoT/PRF Query扩展理论说得再好不如亲手试一下。下面我就带你一步步拆解如何在实际系统中实现论文中效果最好的CoT/PRF方法。这个过程可以看作一个增强版的检索流水线。3.1 第一步基础检索与文档获取首先你需要用用户的原始查询Original Query进行一次初步的检索。这次检索的目的不是直接返回最终结果而是为了获取伪相关反馈PRF文档。检索系统可以使用任何你现有的检索系统比如基于Lucene的Elasticsearch/Solr使用BM25算法或者一个双编码器Dense Retriever进行第一轮召回。论文中主要针对稀疏检索BM25优化所以这里我们先以BM25为例。检索数量获取Top K个文档。论文中使用了Top 3的文档。为什么是3这是一个经验值在计算成本和反馈质量之间取得平衡。太少可能信息不足太多则容易引入噪音。文档处理从这Top 3个文档中提取出核心的文本内容比如标题、摘要或前N个段落。准备好这3个文档的文本我们将它们作为后续大模型推理的“上下文”。假设原始查询是Q “effects of climate change on polar bears”。 第一轮BM25检索返回了3篇相关度最高的文档摘要我们记为D1, D2, D3。3.2 第二步构建思维链CoT提示这是整个流程的核心。我们需要精心设计一个提示Prompt让大模型结合原始查询和PRF文档进行推理并生成扩展文本。论文中给出的CoT/PRF提示模板非常直观请基于以下查询和提供的相关文档逐步推理并解释答案。 查询: [在此处插入原始查询] 相关文档: [在此处插入文档1的文本] [在此处插入文档2的文本] [在此处插入文档3的文本] 请逐步思考并最终生成一个详细的解释说明[在此处重复原始查询]的答案。把我们的例子套进去请基于以下查询和提供的相关文档逐步推理并解释答案。 查询: effects of climate change on polar bears 相关文档: [文档1摘要北极海冰因气候变化迅速融化这是北极熊栖息地和捕食海豹平台...] [文档2摘要研究表明北极熊体重下降繁殖成功率降低与海冰减少周期相关...] [文档3摘要一些北极熊种群被迫更靠近人类居住区寻找食物导致人熊冲突加剧...] 请逐步思考并最终生成一个详细的解释说明“effects of climate change on polar bears”的答案。将这个提示发送给大模型如GPT-4、Claude或论文中使用的Flan-UL2。模型会返回一段类似这样的文本“要理解气候变化对北极熊的影响我们可以分几步分析首先气候变化导致北极地区气温升高最直接的表现是海冰sea ice的覆盖面积减少和厚度变薄。北极熊依赖海冰作为狩猎平台hunting platform来捕食主要食物环斑海豹ringed seals。海冰的消失迫使北极熊在陆地上停留更长时间导致禁食期fasting period延长进而造成体重下降weight loss、身体条件恶化poor body condition。其次这会影响其繁殖成功率reproductive success因为母熊需要足够的脂肪储备来哺育幼崽。此外食物短缺可能导致北极熊迁徙模式migration patterns改变甚至靠近人类社区增加人熊冲突human-bear conflicts。长期来看一些亚种群subpopulations面临栖息地丧失habitat loss和生存威胁survival threats可能被列为濒危物种endangered species。”看这段由模型生成的“思维链”文本包含了大量与核心主题高度相关的专业术语和具体细节远比原始查询“effects of climate change on polar bears”要丰富得多。3.3 第三步构建最终检索Query拿到模型生成的思维链文本我们记为CoT_Text后我们不能直接用它去搜索。因为模型生成的文本可能很长会“稀释”原始查询词的重要性。论文采用了一个简单而有效的策略重复原始查询词。最终的检索Query是这样构建的Final_Query [原始查询] [原始查询] [原始查询] [原始查询] [原始查询] [思维链文本]也就是将原始查询重复5次然后拼接上CoT生成的文本。例如Final_Query “effects of climate change on polar bears effects of climate change on polar bears effects of climate change on polar bears effects of climate change on polar bears effects of climate change on polar bears [上面那一段长长的CoT文本]”为什么要重复5次这其实是一种在BM25等基于词频统计的检索模型中的术语加权技巧。BM25会计算查询中每个词对文档的相关性贡献。重复原始查询词相当于人为地提高了这些核心词在查询中的权重确保即使扩展文本很长检索系统依然会把与原始查询最直接相关的文档排在前面。这是一种在利用大模型丰富语义和保持原始意图之间的巧妙平衡。3.4 第四步执行最终检索并返回结果现在我们用这个加强版的Final_Query去执行最终的BM25检索。这次检索到的文档集合其召回率尤其是对长尾、细节信息相比仅用原始查询或传统PRF方法理论上会有显著提升。你可以将整个流程封装成一个服务。对于线上系统需要考虑延迟问题。第一轮检索获取PRF文档和调用大模型生成CoT文本都会增加耗时。常见的优化策略包括缓存热门查询的扩展结果、使用更轻量级但能力足够的模型如Flan-T5 Large、对PRF文档进行截断以减少输入长度等。4. 优势与边界为什么是3%它适合所有场景吗通过上面的原理和实操分析我们可以看到大模型驱动的CoT扩展相比传统PRF有几个鲜明的优势知识驱动突破首轮检索局限它不依赖于可能有偏差的首轮检索结果。即使第一轮没找到好文档大模型也能利用其内置的海量知识生成有价值的扩展内容这是PRF无法做到的。语义深度与广度CoT鼓励模型进行多步推理这个过程能挖掘出查询背后隐含的、多角度的相关概念而不仅仅是表面词汇的共现。生成的文本信息密度高覆盖的语义范围更广。对模型规模的红利论文实验明确指出模型参数越大如从770M的Flan-T5 Large到20B的Flan-UL2CoT带来的提升越明显。大模型更强的推理和知识能力直接转化为了更优质的扩展文本。那么关键的3%召回率提升到底有多大价值在学术界的标准测试集如MS-MARCO上特别是在竞争激烈的榜单上1%的提升都来之不易3%已经是相当显著的进步了。它证明了这种新范式的有效性。但在工业界我们需要更辩证地看Top-1000 vs. Top-10论文报告的是Top-1000召回率提升3%。对于用户来说他们几乎只看前一两页Top-10/20的结果。幸运的是该方法在MRR10平均倒数排名和NDCG10等衡量前列结果质量的指标上也有提升这意味着相关文档的排名更靠前了用户体验会切实改善。延迟与成本调用大模型尤其是20B级别进行实时推理必然增加搜索链路的延迟和计算成本。这是引入任何大模型服务时都必须面对的权衡。更重要的是我们必须清楚这项技术的局限性和适用边界主要适用于稀疏检索如BM25CoT扩展的核心是丰富查询的词汇表达从而在基于词频、倒排索引的稀疏检索系统中找到更多词汇匹配的文档。对于密集检索Dense Retrieval如使用BERT等模型将查询和文档都映射为向量的双编码器其本身就在连续的语义空间中进行匹配词汇鸿沟问题不那么突出因此从查询扩展中获益有限。事实上已有研究如Wang等人的工作表明密集检索系统不太容易从这类词汇扩展中受益。适用于即席搜索Ad-hoc Search即每次搜索都是独立、无状态的。对于会话搜索Session Search即搜索系统需要考虑用户在当前会话中的历史查询和行为例如先搜“智能手机推荐”再搜“预算5000以内”传统的CoT扩展可能无法有效利用会话上下文。不过这可以通过在提示中融入会话历史来改进属于更高级的用法。依赖模型能力与质量扩展效果直接取决于所用大模型的知识准确性、推理能力和指令遵循能力。如果模型产生幻觉生成错误信息或对特定领域知识了解不足扩展反而会损害效果。计算开销如前所述实时调用大模型进行生成对延迟敏感的系统是一个挑战。所以当你考虑是否要在自己的搜索系统中引入这项技术时我的建议是先做严格的离线评估和线上A/B测试。论文中的实验环境是理想化的基准测试你的实际业务数据分布、文档集合、用户查询特点可能完全不同。用一个较小的代表性数据集对比CoT扩展、传统PRF以及基线方法的性能同时仔细评估其带来的延迟增加和成本上升再做出决策。5. 超越CoT大模型在搜索召回中的更多可能性CoT提示只是利用大模型提升搜索召回率的冰山一角。结合业界的其他探索我们可以看到一幅更广阔的图景。方向一Query的多样化改写与生成除了让模型“思考”还可以直接让它进行多种形式的“改写”多查询生成Multi-Query让模型基于原始查询生成多个语义相似但表述不同的查询。例如对于“如何学习Python编程”模型可能生成“Python入门教程”、“Python编程从零开始”、“学习Python的最佳途径”等。用这组查询并行检索再合并结果可以极大地提高召回内容的多样性。LangChain等工具已经集成了类似的MultiQueryRetriever。假设文档生成HyDE这是另一种有趣的思路。不直接扩展查询而是让模型根据查询生成一个假设的理想答案文档Hypothetical Document。然后用这个生成的文档去进行向量相似度检索。这种方法能缓解短查询向量化效果差、与长文档向量空间不匹配的问题。但风险是模型可能“捏造”事实幻觉生成不准确的文档反而误导检索。方向二与密集检索的协同虽然CoT扩展对纯密集检索提升有限但大模型可以与密集检索系统以其他方式结合Query Embedding优化使用大模型或经过指令微调的Embedding模型来生成查询的向量表示相比通用Embedding模型可能对特定领域或任务有更好的表征能力。混合检索Hybrid Search这是目前工业界的主流趋势。同时使用稀疏检索BM25扩展和密集检索向量检索然后将两者的结果融合。这样可以兼顾关键词匹配的精确性和语义匹配的泛化能力。关键挑战在于如何对来自不同体系词汇匹配分 vs. 语义相似分的结果进行融合排序。方向三端到端的优化与迭代更激进的思路是让大模型不仅参与“改写”还参与“评估”和“迭代”。强化学习驱动改写将整个搜索系统视为一个环境Environment大模型作为智能体Agent其动作Action是生成改写后的查询。根据改写后查询的检索结果例如最终排序Top K中有多少文档是只有改写查询才能召回而原始查询不能召回的“独占召回率”来给予奖励Reward从而训练模型生成能最大化召回效果的查询。这相当于让模型学会“投其所好”直接优化搜索系统的终极目标。检索-阅读-反思循环在RAG检索增强生成框架中可以让大模型根据初步检索结果进行反思“要回答这个问题我还需要哪些信息”然后基于反思生成新的、更精准的查询进行下一轮检索如此循环直到模型认为信息足够。这模仿了人类的研究过程能显著提升复杂问题解答的信息覆盖度。大模型为搜索系统带来的不仅是工具升级更是范式革新。从简单的词表扩展到深度的语义理解和多步推理再到与检索过程的主动交互它正在让搜索变得更智能、更“懂你”。CoT提示提升3%的召回率只是一个开始。真正重要的是我们开始学会利用大模型的“思考”能力去弥合人与机器之间那道最深的鸿沟——理解的鸿沟。在实际项目中我建议从小规模实验开始重点关注它在你特定业务数据上的“独家收益”并时刻将效果提升与成本、延迟的增加放在天平上衡量。技术很酷但用对地方、用得划算才是工程实践的精髓。