前言检索增强生成RAG已成为解决大模型幻觉和知识滞后问题的主流方案。然而现有的 RALM检索增强语言建模方法如 RETRO, kNN-LM通常需要对语言模型架构进行复杂修改或进行昂贵的重新训练这极大地限制了其在闭源模型API 访问或现有生产系统中的部署。AI21 Labs 提出的In-Context RALM框架另辟蹊径主张完全不修改模型架构和权重仅通过将检索到的文档作为上下文Prompt拼接到输入端即可显著提升模型性能。本文将深度解读这篇极具工程实用价值的论文揭示“简单即强大”的 RAG 新范式。 论文基本信息项目内容论文标题In-Context Retrieval-Augmented Language Models中文译名上下文检索增强语言模型作者Ori Ram, Yoav Levine, Itay Dalmedigos, Dor Muhlgay, Amnon Shashua, Kevin Leyton-Brown, Yoav Shoham所属机构AI21 Labs发表年份2023 TACL核心领域Retrieval-Augmented LM, In-Context Learning, Zero-shot Adaptation代码开源GitHub - AI21Labs/in-context-ralm研究背景与痛点尽管检索增强语言建模RALM在提升事实准确性和知识更新方面表现优异但现有主流方法存在显著的落地障碍架构耦合度高如 RETRO (Borgeaud et al., 2022) 需要引入复杂的交叉注意力机制Chunked Cross-Attention并增加大量新参数。训练成本高昂大多数 RALM 方法需要对语言模型进行专门的微调Fine-tuning或预训练这对于参数量巨大的模型如 66B极其昂贵。闭源模型不可用对于只能通过 API 访问的商用大模型如 GPT-3/4, Jurassic-1无法修改其内部架构或权重导致先进的 RALM 技术无法应用。部署复杂性修改架构意味着需要重新构建推理引擎增加了工程维护难度。 核心思路受上下文学习In-Context Learning成功的启发提出一种零努力Zero-effort的文档阅读机制。即保持语言模型完全冻结Frozen仅将检索到的相关文档直接拼接Prepend到输入文本之前。这种方法无需任何训练即可让现成的通用大模型具备检索增强能力。核心方法In-Context RALM 架构详解In-Context RALM 的核心在于极简的设计哲学检索即提示Retrieval as Prompting。1. 基础框架文档拼接传统 RALM 通常通过修改 Transformer 内部结构来注入外部信息而 In-Context RALM 直接将检索到的文档 dd 作为输入序列的一部分公式操作在预测下一个 token 时将检索器返回的文档 dd 放在当前前缀之前。优势完全兼容任何基于 Transformer 的现成模型GPT-2, OPT, LLaMA 等无需修改一行模型代码。2. 关键设计选择 (Design Choices)为了平衡性能与计算成本论文深入研究了两个关键超参数(1) 检索步长 (Retrieval Stride, $s$)定义每隔 s 个 token 执行一次检索操作。发现检索越频繁效果越好。实验显示每 4 个 token 检索一次显著优于RETRO 的设置。原因高频检索能确保上下文始终包含与当前生成位置最相关的最新信息实现高分辨率的“接地Grounding”。权衡虽然理论最优但考虑到检索延迟论文推荐作为性价比最高的设置。(2) 检索查询长度 (Retrieval Query Length, $\ell$)定义使用前缀中的最后 ℓ 个 token 作为检索查询。发现存在一个甜蜜点Sweet Spot。太短缺乏足够的上下文信息检索相关性低。太长稀释了紧邻当前生成位置的关键词Recency bias导致检索结果不够精准。最佳实践对于稀疏检索BM25ℓ32 效果最佳对于稠密检索ℓ64 更佳。3. 进阶优化面向 LM 的重排序 (LM-Oriented Reranking)由于直接使用现成检索器如 BM25仅基于词袋匹配缺乏语义理解论文提出了两种重排序策略来从 Top-K 候选文档中选出最佳文档策略一零样本重排序 (Zero-Shot Reranking)方法利用语言模型本身或一个更小的 LM计算候选文档对后续文本的预测概率。优势无需训练甚至可以用一个小模型如 GPT-2 Small为大模型如 GPT-2 XL进行重排序适用于 API 场景。策略二预测性重排序 (Predictive Reranking)方法训练一个专用的双向编码器如 RoBERTa作为重排序器。训练信号使用语言模型对后续文本的预测概率作为监督信号Self-supervised教重排序器识别“哪个文档最能帮助模型预测下一个词”。效果显著优于零样本方法进一步挖掘了检索潜力。 实验结果与分析作者在 5 个多样化的语料库WikiText-103, RealNews, ArXiv, Stack Exchange, FreeLaw和多个模型系列GPT-2, GPT-Neo, OPT, LLaMA从 110M 到 66B 参数上进行了广泛评估。1. 惊人的性能提升 (Scaling Law)等效扩容In-Context RALM 带来的性能提升困惑度 Perplexity 降低相当于将语言模型的参数量扩大 2-3 倍。案例 1345M 的 GPT-2 BM25 762M 的 GPT-2。案例 2345M 的 GPT-2 预测性重排序 1.5B 的 GPT-2。案例 3 (大模型)6.7B 的 OPT In-Context RALM ≈ 66B 的 OPT原生。这意味着用小模型加检索能达到百倍大模型的效果。通用性该结论在所有测试的模型家族和数据集上均成立。2. 检索器选型BM25 胜出反直觉发现在零样本Zero-shot设置下传统的稀疏检索器BM25的表现优于所有测试的稠密检索器BERT, Contriever, Spider。原因通用稠密检索器未经过特定 LM 任务的微调而 BM25 在精确匹配关键词方面具有鲁棒性且计算成本极低。启示对于冻结模型的 RAG 应用简单的 BM25 往往是首选基线。3. 下游任务开放域问答 (ODQA)设置在 Natural Questions (NQ) 和 TriviaQA 上测试冻结的 LLaMA 模型。结果仅通过在 Prompt 中插入 2 个检索文档LLaMA-13B 在 NQ 上的准确率从 12.0% 飙升至31.0%。证明了即使没有针对 QA 任务进行微调In-Context RALM 也能让通用 LM 瞬间具备强大的问答能力。4. 重排序的收益零样本重排序使用小模型进行重排序即可带来显著提升且几乎无额外训练成本。预测性重排序经过自监督训练的重排序器能进一步降低困惑度接近“Oracle”理想选择的性能上限。 主要创新点总结极简主义范式证明了无需修改模型架构、无需微调权重仅靠“拼接文档”这一简单操作就能释放巨大的检索增强红利。这使得 RALM 技术可以立即应用于任何 API 模型。高频检索策略推翻了以往“低频检索”的惯例确立了**高频检索小步长**对于语言建模任务的重要性。小模型赋能大模型发现了小模型可以作为大模型的有效重排序器为资源受限场景下的 RAG 部署提供了新思路。BM25 的复兴在冻结模型场景下证实了经典算法 BM25 依然优于未微调的神经检索器强调了基线选择的重要性。参数效率极致化实现了“小模型 检索 超大模型”的效果为降低大模型推理成本提供了切实可行的路径。⚠️ 局限性与未来展望上下文窗口限制方法依赖于模型的上下文窗口长度。如果检索文档过长会挤占原始输入的上下文空间虽然论文通过截断处理了这一问题但在长文档场景仍受限。推理延迟高频检索如每 4 个 token 一次会显著增加推理延迟尤其是在调用外部检索服务时。未来需探索自适应检索仅在需要时检索。单文档限制论文主要实验集中在拼接单个最佳文档虽然理论上支持多文档但如何高效地在有限窗口内组织多个文档仍需探索。重排序训练依赖预测性重排序需要访问目标语料的训练数据来生成训练信号这在某些私有或动态数据场景下可能难以获取。 总结《In-Context Retrieval-Augmented Language Models》是一篇极具工程实用价值的论文。它打破了“RAG 必须改模型”的迷思证明了**“冻结模型 上下文拼接”**这一简单策略的强大威力。对于工业界而言这篇论文的意义在于落地门槛极低无需重新训练百亿参数模型只需接入检索模块即可升级现有系统。API 友好让闭源大模型用户也能享受 RAG 带来的知识增强和幻觉抑制红利。成本效益高用小模型配合检索替代大模型可大幅降低算力成本。简而言之In-Context RALM 告诉我们有时候最优雅的解决方案不是增加模型的复杂度而是更聪明地利用上下文。这是当前构建企业级知识库问答系统和低成本大模型应用的必读指南。参考文献[1] Ram O, Levine Y, Dalmedigos I, et al. In-Context Retrieval-Augmented Language Models[J]. arXiv preprint arXiv:2302.00083, 2023.