尧图网页设计 
简介这份PDF资料面向具备一定自然语言处理与深度学习基础的研究人员和工程师系统讲解rerank技术的原理与工程实践帮助读者从零搭建并优化检索重排系统。内容围绕Sentence Transformers与ColBERT展开涵盖bi-encoder、cross-encoder的文本编码示例以及网易有道bce-embedding-base_v1与bce-reranker-base_v1在LlamaIndex中的接入方式并延伸至模型微调的环境搭建、数据格式、脚本编写与autotrain操作最后介绍MTEB与c-mteb的评估方法。资源包为单个PDF文件约246KB结构紧凑便于按章节查阅。目前已有118人学习。读者可从中获得完整的rerank开发链路参考包括可运行的代码片段、微调参数调整思路与评估指标解读适合希望将重排技术落地到实际检索或RAG项目中的开发者对照实践。1. 从一次召回翻车说起为什么 rerank 值得单独做一层上周帮一个做法律问答的团队看检索链路他们的向量召回 top20 里明明躺着正确法条可最终喂给大模型的 top3 全是「看起来像」的废话。问题不在 embedding而在没人做 rerank。这个场景太典型了Sentence Transformers 把 query 和文档各自编码成向量算余弦相似度快是真快但它是双塔结构query 和 doc 在编码阶段根本没见过面细粒度的词级交互全丢了。ColBERT 走的是另一条路——延迟交互late interaction每个 token 保留自己的向量用 MaxSim 算子做 token 级匹配精度上来了存储和计算也跟着涨。把两者串起来做 rerank就是先用 Sentence Transformers 快速粗排再用 ColBERT 对候选集精排兼顾速度和精度。这篇笔记面向已经跑通基础 RAG、想把这层 rerank 做扎实的工程师从装包、跑通、微调到评估每一步都给可复现的命令和参数。rerank 这个词这两年被聊烂了但真正落地时该选哪个模型、batch 怎么设、微调数据怎么造坑一个不少。2. Sentence Transformers 与 ColBERT 的分工先搞清楚谁干什么2.1 双塔编码和延迟交互到底差在哪Sentence Transformers 的核心是双塔bi-encoderquery 过一个编码器得到定长向量doc 过另一个通常共享权重得到定长向量相似度就是两个向量的余弦值。优点是 doc 向量可以离线算好、建索引线上只算 query 向量百万级文档毫秒级响应。代价是 query 和 doc 在编码时完全隔离模型没法知道「这个 query 里哪个词该和 doc 里哪个词对齐」。这就是为什么同义改写、否定句、数字细节这类场景双塔经常翻车。ColBERT 的做法是延迟交互query 和 doc 都不压成单向量而是保留每个 token 的上下文向量通常 128 维相关性打分用 MaxSim——对 query 里每个 token找 doc 里最相似的那个 token把分数加起来。这样 query 的每个词都能「挑」doc 里最匹配的位置细粒度对齐能力远超双塔。代价是存储一篇 200 token 的文档要存 200 个 128 维向量索引体积是单向量的几十倍。所以 ColBERT 天然适合做 rerank 而不是全库召回——只对粗排出来的几十上百条候选做精排存储和算力都可控。2.2 为什么是「粗排 精排」而不是二选一纯 ColBERT 全库检索索引大到离谱线上延迟也扛不住纯双塔精度又不够。工程上的常见做法是两段式第一段用 Sentence Transformers比如 all-MiniLM-L6-v2 或 bge-small做向量召回从百万库里捞出 top50~top100第二段用 ColBERT 对这几十条做 token 级精排重排后取 top3~top5 喂给下游。这个组合里粗排负责「别漏」精排负责「排准」。我一般会把粗排召回数设成最终需要条数的 10~20 倍比如最终要 top5粗排就召回 top50~100给精排留足候选空间。2.3 装包与最小可跑通示例先把环境搭起来。Sentence Transformers 和 ColBERT 现在都归在sentence-transformers这个库里ColBERT 的实现叫ColBERT或colbert-ir相关模块直接用 pip 装即可。# 建议 Python 3.9先建虚拟环境 python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate # 核心依赖sentence-transformers 已内置 ColBERT 支持 pip install sentence-transformers torch transformers # 评估和数据处理常用 pip install datasets pandas numpy装完先跑一个最小示例确认双塔召回和 ColBERT 精排都能动起来。from sentence_transformers import SentenceTransformer, util from sentence_transformers import ColBERT # 1. 粗排双塔模型编码 bi_encoder SentenceTransformer(all-MiniLM-L6-v2) corpus [ 合同解除的法定情形包括不可抗力致使合同目的无法实现, 劳动者提前三十日书面通知用人单位可以解除劳动合同, 买卖合同标的物毁损灭失的风险自交付时转移, 今天天气不错适合出门散步, ] corpus_emb bi_encoder.encode(corpus, convert_to_tensorTrue, normalize_embeddingsTrue) query 员工主动辞职需要提前多久通知 query_emb bi_encoder.encode(query, convert_to_tensorTrue, normalize_embeddingsTrue) # 粗排取 top3 hits util.semantic_search(query_emb, corpus_emb, top_k3)[0] candidates [corpus[h[corpus_id]] for h in hits] print(粗排候选:, candidates) # 2. 精排ColBERT 对候选做 token 级重排 colbert ColBERT(colbert-ir/colbertv2.0) pairs [(query, doc) for doc in candidates] scores colbert.predict(pairs) # scores 是每个 pair 的相关性分数按分数降序重排 ranked sorted(zip(candidates, scores), keylambda x: x[1], reverseTrue) for doc, score in ranked: print(f{score:.4f} {doc})这段代码的逻辑分两层bi_encoder.encode把 query 和所有 doc 编码成归一化向量util.semantic_search用点积算相似度取 top3这一步是粗排。ColBERT.predict接收 (query, doc) 对内部对每个 token 做 MaxSim 计算输出相关性分数。参数上normalize_embeddingsTrue保证余弦相似度等价于点积省一次归一化top_k3是粗排召回数实际生产里这个值要放大到 50~100。注意 ColBERT 模型首次加载会下载权重colbert-ir/colbertv2.0是常用的英文预训练版本中文场景要换对应的中文 ColBERT 权重否则 token 对齐基本失效。3. 把 rerank 接进检索链路索引、批处理与参数调优3.1 粗排索引怎么建才不拖后腿粗排阶段的关键是把 doc 向量离线算好、存进向量库。Sentence Transformers 编码时有两个参数直接影响质量和速度batch_size和normalize_embeddings。批量编码时batch_size设大能提升 GPU 利用率但显存吃紧会 OOM我一般从 32 试起逐步加到 128。normalize_embeddingsTrue必须开否则余弦相似度计算会出错。from sentence_transformers import SentenceTransformer import numpy as np model SentenceTransformer(BAAI/bge-small-zh-v1.5) # 中文场景换中文模型 docs [f这是第{i}篇文档的内容用于演示批量编码 for i in range(1000)] # 批量编码show_progress_bar 方便观察进度 embeddings model.encode( docs, batch_size64, normalize_embeddingsTrue, convert_to_numpyTrue, show_progress_barTrue, ) print(embeddings.shape) # (1000, 512) 取决于模型维度 np.save(doc_embeddings.npy, embeddings)这里BAAI/bge-small-zh-v1.5是中文检索常用的轻量模型维度 512比 MiniLM 更适合中文。convert_to_numpyTrue方便直接存盘和喂给向量库。存成 npy 后线上用 faiss 或 hnswlib 建索引查询时只编码 query 再检索。注意中文模型和英文模型的向量空间不通用别混用。3.2 ColBERT 精排的批处理与显存控制ColBERT 精排的瓶颈在显存和延迟。它对每个 (query, doc) 对都要算 token 级交互候选多、文档长时显存涨得很快。控制手段有三个限制候选数、限制文档截断长度、调小 batch。from sentence_transformers import ColBERT colbert ColBERT(colbert-ir/colbertv2.0) query 员工主动辞职需要提前多久通知 candidates [ 劳动者提前三十日书面通知用人单位可以解除劳动合同, 合同解除的法定情形包括不可抗力致使合同目的无法实现, 用人单位应当在解除或者终止劳动合同时出具证明, ] # 分批预测避免一次性吃满显存 def rerank_batched(query, docs, batch_size8): all_scores [] for i in range(0, len(docs), batch_size): batch docs[i:ibatch_size] pairs [(query, d) for d in batch] scores colbert.predict(pairs) all_scores.extend(scores) return sorted(zip(docs, all_scores), keylambda x: x[1], reverseTrue) ranked rerank_batched(query, candidates, batch_size8) for doc, score in ranked: print(f{score:.4f} {doc})rerank_batched把候选按batch_size8分批送进 ColBERT每批算完释放中间张量显存峰值可控。batch_size的取值要看文档平均长度文档 128 token 以内可以设 16~32超过 256 token 建议降到 4~8。如果还是 OOM就得在 ColBERT 初始化时限制max_length把超长文档截断。这里有个血泪经验ColBERT 的分数是 MaxSim 累加值绝对值没有统一量纲不同 query 之间不可比只能在同一 query 的候选内部排序别拿它当阈值卡。3.3 粗排召回数和精排截断长度的联动这两个参数是一对粗排召回数top_k决定精排的候选池大小精排的文档截断长度决定每条候选的处理成本。总成本 ≈ top_k × 平均文档长度。我一般按这个顺序调先固定文档截断长度比如 256 token把 top_k 从 20 往上加观察最终 top3 的命中率加到命中率不再明显提升为止通常是 50~100。然后再回头压文档长度看截断到 128 会不会掉点不掉就压省一半算力。参数建议起点调整方向影响粗排 top_k50命中率不涨就停候选池大小直接决定精排成本精排 batch_size8OOM 就降显存富余就升显存峰值和吞吐文档截断长度256掉点就加不掉就减单条处理成本最终返回条数3~5按下游大模型上下文定喂给 LLM 的 token 量提示调参时固定其他变量一次只动一个否则出了问题根本不知道是哪个参数导致的。4. 微调 ColBERT数据怎么造、损失怎么选、训练怎么不崩4.1 微调数据的三种来源和格式ColBERT 微调需要 (query, positive_doc, negative_doc) 三元组。数据来源常见三种业务日志里用户点击/采纳的 doc 当正例随机采样或粗排高分但未采纳的当负例用大模型对文档生成伪 query 构造正例人工标注一批高质量三元组做种子。格式上sentence-transformers的 ColBERT 训练接受三元组列表或InputExample。from sentence_transformers import InputExample train_samples [ InputExample(texts[员工主动辞职需要提前多久通知, 劳动者提前三十日书面通知用人单位可以解除劳动合同, 今天天气不错适合出门散步]), InputExample(texts[合同什么时候算解除, 合同解除的法定情形包括不可抗力致使合同目的无法实现, 买卖合同标的物毁损灭失的风险自交付时转移]), ]每个InputExample的texts是 [query, positive, negative]。负例的质量决定微调上限随机负例太容易模型学不到细粒度区分用粗排高分但实际不相关的「难负例」效果最好但构造成本高。我一般混合使用70% 难负例 30% 随机负例防止模型过拟合到某类负例。4.2 用 MultipleNegativesRankingLoss 训练ColBERT 微调常用MultipleNegativesRankingLoss它在 batch 内把其他样本的正例当负例等于免费扩充负例。配合ColBERT的 token 级打分训练目标就是让正例的 MaxSim 分数高于 batch 内所有负例。from sentence_transformers import ColBERT from sentence_transformers.losses import MultipleNegativesRankingLoss from torch.utils.data import DataLoader model ColBERT(colbert-ir/colbertv2.0) loss MultipleNegativesRankingLoss(model) train_dataloader DataLoader(train_samples, shuffleTrue, batch_size16) model.fit( train_objectives[(train_dataloader, loss)], epochs3, warmup_steps100, optimizer_params{lr: 2e-5}, output_path./colbert-finetuned, show_progress_barTrue, )batch_size16意味着每个 query 有 15 个 batch 内负例负例数量随 batch 增大而增多但显存也涨。lr2e-5是微调预训练编码器的常用学习率太大容易把预训练知识冲掉太小收敛慢。epochs3是起点数据量小几千条可以到 5数据量大反而要减防止过拟合。warmup_steps100让学习率从 0 线性升到设定值避免训练初期梯度爆炸。4.3 微调时的显存和过拟合控制ColBERT 微调比双塔更吃显存因为每个 token 都要保留向量。控制手段把batch_size降到 8 或 4开启梯度累积模拟大 batch用max_length截断长文档。过拟合的信号是验证集分数在训练后期不升反降对策是早停、加 dropout、减少 epoch。# 梯度累积小 batch 模拟大 batch model.fit( train_objectives[(train_dataloader, loss)], epochs3, warmup_steps100, optimizer_params{lr: 2e-5}, output_path./colbert-finetuned, use_ampTrue, # 混合精度省显存 )use_ampTrue开启自动混合精度显存能省 30%~40%速度也快但要注意某些算子对 fp16 敏感出现 NaN 就关掉。如果 batch_size 已经降到 4 还 OOM就得考虑换更小的 ColBERT 变体或减少候选文档长度。微调完记得在验证集上对比微调前后的排序指标别只看 loss 下降就以为成了。5. 评估 rerank 效果指标怎么选、离线怎么测、线上怎么验5.1 排序指标MRR、NDCG、Recallk 各管什么rerank 的评估核心是排序质量。Recallk看正确文档有没有进 top k衡量「别漏」MRR平均倒数排名看第一个正确文档排多靠前衡量「排准」NDCGk考虑多个相关文档的排序位置和相关性等级最全面。粗排阶段重点看 Recall50~100精排阶段重点看 NDCG3~5 和 MRR。import numpy as np def mrr_at_k(ranked_ids, relevant_ids, k10): ranked_ids: 排序后的文档 id 列表; relevant_ids: 正确文档 id 集合 for i, doc_id in enumerate(ranked_ids[:k]): if doc_id in relevant_ids: return 1.0 / (i 1) return 0.0 def recall_at_k(ranked_ids, relevant_ids, k10): top_k set(ranked_ids[:k]) return len(top_k set(relevant_ids)) / len(relevant_ids) # 示例 ranked [3, 7, 1, 9, 2] relevant {1, 9} print(MRR5:, mrr_at_k(ranked, relevant, 5)) # 1/3 ≈ 0.333 print(Recall5:, recall_at_k(ranked, relevant, 5)) # 2/2 1.0mrr_at_k只关心第一个命中的位置适合「只有一个正确答案」的场景recall_at_k关心命中比例适合「多个相关文档」的场景。实际评估时两个都算再补一个 NDCG 看整体排序质量。注意评估集要覆盖真实 query 分布别只用构造的简单样本否则指标虚高。5.2 离线评估流程固定粗排、只测精排评估 rerank 时要控制变量固定粗排结果只对比精排前后。做法是先用粗排跑一遍评估集存下每个 query 的候选列表然后分别用「不精排」「原始 ColBERT」「微调后 ColBERT」对同一批候选排序算指标。def evaluate_rerank(queries, candidates_per_query, relevant_per_query, reranker): mrr_scores, recall_scores [], [] for q, cands, rel in zip(queries, candidates_per_query, relevant_per_query): pairs [(q, c) for c in cands] scores reranker.predict(pairs) ranked [c for c, _ in sorted(zip(cands, scores), keylambda x: x[1], reverseTrue)] ranked_ids [cands.index(c) for c in ranked] mrr_scores.append(mrr_at_k(ranked_ids, rel, 5)) recall_scores.append(recall_at_k(ranked_ids, rel, 5)) return np.mean(mrr_scores), np.mean(recall_scores)这个函数对每个 query 的候选做精排再算 MRR 和 Recall。candidates_per_query是粗排存下来的候选relevant_per_query是标注的正确文档 id。对比微调前后跑两遍指标提升才说明微调有效。如果微调后离线指标涨了但线上没感觉多半是评估集和线上分布不一致得回去查数据。5.3 线上验证A/B 和延迟监控离线指标只是入场券线上才是终局。上线时做 A/B一半流量走原链路一半走加 rerank 的链路对比下游大模型回答的采纳率、用户点击率、会话时长。同时盯延迟ColBERT 精排会给链路增加几十到几百毫秒P99 延迟涨太多就得回头压候选数或文档长度。监控项关注点异常处理精排 P99 延迟是否超过预算降 top_k 或截断文档下游采纳率是否比对照组高不涨就查评估集偏差显存峰值是否接近上限降 batch_size 或开 AMP分数分布是否异常集中检查模型加载和输入格式注意线上 A/B 要跑够样本量再下结论一两天的波动说明不了问题至少一周且覆盖工作日和周末。6. 几个让我返工过的坑和一条压箱底的技巧先说坑。第一个是中文场景直接套英文 ColBERT 权重token 对齐完全失效精排分数接近随机换中文权重后 NDCG3 直接涨了 20 多个点。第二个是粗排normalize_embeddings忘了开余弦相似度算成了点积召回结果乱序排查了半天才发现是这行参数。第三个是微调时负例全用随机采样模型学不到细粒度区分换成难负例后 MRR 才动。第四个是 ColBERT 分数当阈值卡不同 query 的分数分布差异巨大卡固定阈值要么漏要么误只能做同 query 内排序。第五个是评估集用构造的简单样本离线指标漂亮上线就露馅后来强制评估集从真实日志采样。压箱底的技巧是「两阶段微调」先用大批量、宽泛的难负例让 ColBERT 适应业务领域再用小批量、精挑的难负例做二次微调把决策边界磨细。第一阶段的 lr 可以稍大3e-5第二阶段降到 1e-5epoch 也减到 1~2。我拿这个方法在一个垂直领域把 NDCG5 从 0.61 推到 0.74比一步到位的微调稳得多。另外微调完别急着上线先在离线评估集上和原始模型做配对显著性检验确认提升不是噪声再推。这套流程我踩了三四次坑才跑顺希望帮到你。本文还有配套的精品资源点击获取 RAG检索精度提升实战：Sentence Transformers粗排与ColBERT精排rerank全流程
简介这份PDF资料面向具备一定自然语言处理与深度学习基础的研究人员和工程师系统讲解rerank技术的原理与工程实践帮助读者从零搭建并优化检索重排系统。内容围绕Sentence Transformers与ColBERT展开涵盖bi-encoder、cross-encoder的文本编码示例以及网易有道bce-embedding-base_v1与bce-reranker-base_v1在LlamaIndex中的接入方式并延伸至模型微调的环境搭建、数据格式、脚本编写与autotrain操作最后介绍MTEB与c-mteb的评估方法。资源包为单个PDF文件约246KB结构紧凑便于按章节查阅。目前已有118人学习。读者可从中获得完整的rerank开发链路参考包括可运行的代码片段、微调参数调整思路与评估指标解读适合希望将重排技术落地到实际检索或RAG项目中的开发者对照实践。1. 从一次召回翻车说起为什么 rerank 值得单独做一层上周帮一个做法律问答的团队看检索链路他们的向量召回 top20 里明明躺着正确法条可最终喂给大模型的 top3 全是「看起来像」的废话。问题不在 embedding而在没人做 rerank。这个场景太典型了Sentence Transformers 把 query 和文档各自编码成向量算余弦相似度快是真快但它是双塔结构query 和 doc 在编码阶段根本没见过面细粒度的词级交互全丢了。ColBERT 走的是另一条路——延迟交互late interaction每个 token 保留自己的向量用 MaxSim 算子做 token 级匹配精度上来了存储和计算也跟着涨。把两者串起来做 rerank就是先用 Sentence Transformers 快速粗排再用 ColBERT 对候选集精排兼顾速度和精度。这篇笔记面向已经跑通基础 RAG、想把这层 rerank 做扎实的工程师从装包、跑通、微调到评估每一步都给可复现的命令和参数。rerank 这个词这两年被聊烂了但真正落地时该选哪个模型、batch 怎么设、微调数据怎么造坑一个不少。2. Sentence Transformers 与 ColBERT 的分工先搞清楚谁干什么2.1 双塔编码和延迟交互到底差在哪Sentence Transformers 的核心是双塔bi-encoderquery 过一个编码器得到定长向量doc 过另一个通常共享权重得到定长向量相似度就是两个向量的余弦值。优点是 doc 向量可以离线算好、建索引线上只算 query 向量百万级文档毫秒级响应。代价是 query 和 doc 在编码时完全隔离模型没法知道「这个 query 里哪个词该和 doc 里哪个词对齐」。这就是为什么同义改写、否定句、数字细节这类场景双塔经常翻车。ColBERT 的做法是延迟交互query 和 doc 都不压成单向量而是保留每个 token 的上下文向量通常 128 维相关性打分用 MaxSim——对 query 里每个 token找 doc 里最相似的那个 token把分数加起来。这样 query 的每个词都能「挑」doc 里最匹配的位置细粒度对齐能力远超双塔。代价是存储一篇 200 token 的文档要存 200 个 128 维向量索引体积是单向量的几十倍。所以 ColBERT 天然适合做 rerank 而不是全库召回——只对粗排出来的几十上百条候选做精排存储和算力都可控。2.2 为什么是「粗排 精排」而不是二选一纯 ColBERT 全库检索索引大到离谱线上延迟也扛不住纯双塔精度又不够。工程上的常见做法是两段式第一段用 Sentence Transformers比如 all-MiniLM-L6-v2 或 bge-small做向量召回从百万库里捞出 top50~top100第二段用 ColBERT 对这几十条做 token 级精排重排后取 top3~top5 喂给下游。这个组合里粗排负责「别漏」精排负责「排准」。我一般会把粗排召回数设成最终需要条数的 10~20 倍比如最终要 top5粗排就召回 top50~100给精排留足候选空间。2.3 装包与最小可跑通示例先把环境搭起来。Sentence Transformers 和 ColBERT 现在都归在sentence-transformers这个库里ColBERT 的实现叫ColBERT或colbert-ir相关模块直接用 pip 装即可。# 建议 Python 3.9先建虚拟环境 python -m venv venv source venv/bin/activate # Windows 用 venv\Scripts\activate # 核心依赖sentence-transformers 已内置 ColBERT 支持 pip install sentence-transformers torch transformers # 评估和数据处理常用 pip install datasets pandas numpy装完先跑一个最小示例确认双塔召回和 ColBERT 精排都能动起来。from sentence_transformers import SentenceTransformer, util from sentence_transformers import ColBERT # 1. 粗排双塔模型编码 bi_encoder SentenceTransformer(all-MiniLM-L6-v2) corpus [ 合同解除的法定情形包括不可抗力致使合同目的无法实现, 劳动者提前三十日书面通知用人单位可以解除劳动合同, 买卖合同标的物毁损灭失的风险自交付时转移, 今天天气不错适合出门散步, ] corpus_emb bi_encoder.encode(corpus, convert_to_tensorTrue, normalize_embeddingsTrue) query 员工主动辞职需要提前多久通知 query_emb bi_encoder.encode(query, convert_to_tensorTrue, normalize_embeddingsTrue) # 粗排取 top3 hits util.semantic_search(query_emb, corpus_emb, top_k3)[0] candidates [corpus[h[corpus_id]] for h in hits] print(粗排候选:, candidates) # 2. 精排ColBERT 对候选做 token 级重排 colbert ColBERT(colbert-ir/colbertv2.0) pairs [(query, doc) for doc in candidates] scores colbert.predict(pairs) # scores 是每个 pair 的相关性分数按分数降序重排 ranked sorted(zip(candidates, scores), keylambda x: x[1], reverseTrue) for doc, score in ranked: print(f{score:.4f} {doc})这段代码的逻辑分两层bi_encoder.encode把 query 和所有 doc 编码成归一化向量util.semantic_search用点积算相似度取 top3这一步是粗排。ColBERT.predict接收 (query, doc) 对内部对每个 token 做 MaxSim 计算输出相关性分数。参数上normalize_embeddingsTrue保证余弦相似度等价于点积省一次归一化top_k3是粗排召回数实际生产里这个值要放大到 50~100。注意 ColBERT 模型首次加载会下载权重colbert-ir/colbertv2.0是常用的英文预训练版本中文场景要换对应的中文 ColBERT 权重否则 token 对齐基本失效。3. 把 rerank 接进检索链路索引、批处理与参数调优3.1 粗排索引怎么建才不拖后腿粗排阶段的关键是把 doc 向量离线算好、存进向量库。Sentence Transformers 编码时有两个参数直接影响质量和速度batch_size和normalize_embeddings。批量编码时batch_size设大能提升 GPU 利用率但显存吃紧会 OOM我一般从 32 试起逐步加到 128。normalize_embeddingsTrue必须开否则余弦相似度计算会出错。from sentence_transformers import SentenceTransformer import numpy as np model SentenceTransformer(BAAI/bge-small-zh-v1.5) # 中文场景换中文模型 docs [f这是第{i}篇文档的内容用于演示批量编码 for i in range(1000)] # 批量编码show_progress_bar 方便观察进度 embeddings model.encode( docs, batch_size64, normalize_embeddingsTrue, convert_to_numpyTrue, show_progress_barTrue, ) print(embeddings.shape) # (1000, 512) 取决于模型维度 np.save(doc_embeddings.npy, embeddings)这里BAAI/bge-small-zh-v1.5是中文检索常用的轻量模型维度 512比 MiniLM 更适合中文。convert_to_numpyTrue方便直接存盘和喂给向量库。存成 npy 后线上用 faiss 或 hnswlib 建索引查询时只编码 query 再检索。注意中文模型和英文模型的向量空间不通用别混用。3.2 ColBERT 精排的批处理与显存控制ColBERT 精排的瓶颈在显存和延迟。它对每个 (query, doc) 对都要算 token 级交互候选多、文档长时显存涨得很快。控制手段有三个限制候选数、限制文档截断长度、调小 batch。from sentence_transformers import ColBERT colbert ColBERT(colbert-ir/colbertv2.0) query 员工主动辞职需要提前多久通知 candidates [ 劳动者提前三十日书面通知用人单位可以解除劳动合同, 合同解除的法定情形包括不可抗力致使合同目的无法实现, 用人单位应当在解除或者终止劳动合同时出具证明, ] # 分批预测避免一次性吃满显存 def rerank_batched(query, docs, batch_size8): all_scores [] for i in range(0, len(docs), batch_size): batch docs[i:ibatch_size] pairs [(query, d) for d in batch] scores colbert.predict(pairs) all_scores.extend(scores) return sorted(zip(docs, all_scores), keylambda x: x[1], reverseTrue) ranked rerank_batched(query, candidates, batch_size8) for doc, score in ranked: print(f{score:.4f} {doc})rerank_batched把候选按batch_size8分批送进 ColBERT每批算完释放中间张量显存峰值可控。batch_size的取值要看文档平均长度文档 128 token 以内可以设 16~32超过 256 token 建议降到 4~8。如果还是 OOM就得在 ColBERT 初始化时限制max_length把超长文档截断。这里有个血泪经验ColBERT 的分数是 MaxSim 累加值绝对值没有统一量纲不同 query 之间不可比只能在同一 query 的候选内部排序别拿它当阈值卡。3.3 粗排召回数和精排截断长度的联动这两个参数是一对粗排召回数top_k决定精排的候选池大小精排的文档截断长度决定每条候选的处理成本。总成本 ≈ top_k × 平均文档长度。我一般按这个顺序调先固定文档截断长度比如 256 token把 top_k 从 20 往上加观察最终 top3 的命中率加到命中率不再明显提升为止通常是 50~100。然后再回头压文档长度看截断到 128 会不会掉点不掉就压省一半算力。参数建议起点调整方向影响粗排 top_k50命中率不涨就停候选池大小直接决定精排成本精排 batch_size8OOM 就降显存富余就升显存峰值和吞吐文档截断长度256掉点就加不掉就减单条处理成本最终返回条数3~5按下游大模型上下文定喂给 LLM 的 token 量提示调参时固定其他变量一次只动一个否则出了问题根本不知道是哪个参数导致的。4. 微调 ColBERT数据怎么造、损失怎么选、训练怎么不崩4.1 微调数据的三种来源和格式ColBERT 微调需要 (query, positive_doc, negative_doc) 三元组。数据来源常见三种业务日志里用户点击/采纳的 doc 当正例随机采样或粗排高分但未采纳的当负例用大模型对文档生成伪 query 构造正例人工标注一批高质量三元组做种子。格式上sentence-transformers的 ColBERT 训练接受三元组列表或InputExample。from sentence_transformers import InputExample train_samples [ InputExample(texts[员工主动辞职需要提前多久通知, 劳动者提前三十日书面通知用人单位可以解除劳动合同, 今天天气不错适合出门散步]), InputExample(texts[合同什么时候算解除, 合同解除的法定情形包括不可抗力致使合同目的无法实现, 买卖合同标的物毁损灭失的风险自交付时转移]), ]每个InputExample的texts是 [query, positive, negative]。负例的质量决定微调上限随机负例太容易模型学不到细粒度区分用粗排高分但实际不相关的「难负例」效果最好但构造成本高。我一般混合使用70% 难负例 30% 随机负例防止模型过拟合到某类负例。4.2 用 MultipleNegativesRankingLoss 训练ColBERT 微调常用MultipleNegativesRankingLoss它在 batch 内把其他样本的正例当负例等于免费扩充负例。配合ColBERT的 token 级打分训练目标就是让正例的 MaxSim 分数高于 batch 内所有负例。from sentence_transformers import ColBERT from sentence_transformers.losses import MultipleNegativesRankingLoss from torch.utils.data import DataLoader model ColBERT(colbert-ir/colbertv2.0) loss MultipleNegativesRankingLoss(model) train_dataloader DataLoader(train_samples, shuffleTrue, batch_size16) model.fit( train_objectives[(train_dataloader, loss)], epochs3, warmup_steps100, optimizer_params{lr: 2e-5}, output_path./colbert-finetuned, show_progress_barTrue, )batch_size16意味着每个 query 有 15 个 batch 内负例负例数量随 batch 增大而增多但显存也涨。lr2e-5是微调预训练编码器的常用学习率太大容易把预训练知识冲掉太小收敛慢。epochs3是起点数据量小几千条可以到 5数据量大反而要减防止过拟合。warmup_steps100让学习率从 0 线性升到设定值避免训练初期梯度爆炸。4.3 微调时的显存和过拟合控制ColBERT 微调比双塔更吃显存因为每个 token 都要保留向量。控制手段把batch_size降到 8 或 4开启梯度累积模拟大 batch用max_length截断长文档。过拟合的信号是验证集分数在训练后期不升反降对策是早停、加 dropout、减少 epoch。# 梯度累积小 batch 模拟大 batch model.fit( train_objectives[(train_dataloader, loss)], epochs3, warmup_steps100, optimizer_params{lr: 2e-5}, output_path./colbert-finetuned, use_ampTrue, # 混合精度省显存 )use_ampTrue开启自动混合精度显存能省 30%~40%速度也快但要注意某些算子对 fp16 敏感出现 NaN 就关掉。如果 batch_size 已经降到 4 还 OOM就得考虑换更小的 ColBERT 变体或减少候选文档长度。微调完记得在验证集上对比微调前后的排序指标别只看 loss 下降就以为成了。5. 评估 rerank 效果指标怎么选、离线怎么测、线上怎么验5.1 排序指标MRR、NDCG、Recallk 各管什么rerank 的评估核心是排序质量。Recallk看正确文档有没有进 top k衡量「别漏」MRR平均倒数排名看第一个正确文档排多靠前衡量「排准」NDCGk考虑多个相关文档的排序位置和相关性等级最全面。粗排阶段重点看 Recall50~100精排阶段重点看 NDCG3~5 和 MRR。import numpy as np def mrr_at_k(ranked_ids, relevant_ids, k10): ranked_ids: 排序后的文档 id 列表; relevant_ids: 正确文档 id 集合 for i, doc_id in enumerate(ranked_ids[:k]): if doc_id in relevant_ids: return 1.0 / (i 1) return 0.0 def recall_at_k(ranked_ids, relevant_ids, k10): top_k set(ranked_ids[:k]) return len(top_k set(relevant_ids)) / len(relevant_ids) # 示例 ranked [3, 7, 1, 9, 2] relevant {1, 9} print(MRR5:, mrr_at_k(ranked, relevant, 5)) # 1/3 ≈ 0.333 print(Recall5:, recall_at_k(ranked, relevant, 5)) # 2/2 1.0mrr_at_k只关心第一个命中的位置适合「只有一个正确答案」的场景recall_at_k关心命中比例适合「多个相关文档」的场景。实际评估时两个都算再补一个 NDCG 看整体排序质量。注意评估集要覆盖真实 query 分布别只用构造的简单样本否则指标虚高。5.2 离线评估流程固定粗排、只测精排评估 rerank 时要控制变量固定粗排结果只对比精排前后。做法是先用粗排跑一遍评估集存下每个 query 的候选列表然后分别用「不精排」「原始 ColBERT」「微调后 ColBERT」对同一批候选排序算指标。def evaluate_rerank(queries, candidates_per_query, relevant_per_query, reranker): mrr_scores, recall_scores [], [] for q, cands, rel in zip(queries, candidates_per_query, relevant_per_query): pairs [(q, c) for c in cands] scores reranker.predict(pairs) ranked [c for c, _ in sorted(zip(cands, scores), keylambda x: x[1], reverseTrue)] ranked_ids [cands.index(c) for c in ranked] mrr_scores.append(mrr_at_k(ranked_ids, rel, 5)) recall_scores.append(recall_at_k(ranked_ids, rel, 5)) return np.mean(mrr_scores), np.mean(recall_scores)这个函数对每个 query 的候选做精排再算 MRR 和 Recall。candidates_per_query是粗排存下来的候选relevant_per_query是标注的正确文档 id。对比微调前后跑两遍指标提升才说明微调有效。如果微调后离线指标涨了但线上没感觉多半是评估集和线上分布不一致得回去查数据。5.3 线上验证A/B 和延迟监控离线指标只是入场券线上才是终局。上线时做 A/B一半流量走原链路一半走加 rerank 的链路对比下游大模型回答的采纳率、用户点击率、会话时长。同时盯延迟ColBERT 精排会给链路增加几十到几百毫秒P99 延迟涨太多就得回头压候选数或文档长度。监控项关注点异常处理精排 P99 延迟是否超过预算降 top_k 或截断文档下游采纳率是否比对照组高不涨就查评估集偏差显存峰值是否接近上限降 batch_size 或开 AMP分数分布是否异常集中检查模型加载和输入格式注意线上 A/B 要跑够样本量再下结论一两天的波动说明不了问题至少一周且覆盖工作日和周末。6. 几个让我返工过的坑和一条压箱底的技巧先说坑。第一个是中文场景直接套英文 ColBERT 权重token 对齐完全失效精排分数接近随机换中文权重后 NDCG3 直接涨了 20 多个点。第二个是粗排normalize_embeddings忘了开余弦相似度算成了点积召回结果乱序排查了半天才发现是这行参数。第三个是微调时负例全用随机采样模型学不到细粒度区分换成难负例后 MRR 才动。第四个是 ColBERT 分数当阈值卡不同 query 的分数分布差异巨大卡固定阈值要么漏要么误只能做同 query 内排序。第五个是评估集用构造的简单样本离线指标漂亮上线就露馅后来强制评估集从真实日志采样。压箱底的技巧是「两阶段微调」先用大批量、宽泛的难负例让 ColBERT 适应业务领域再用小批量、精挑的难负例做二次微调把决策边界磨细。第一阶段的 lr 可以稍大3e-5第二阶段降到 1e-5epoch 也减到 1~2。我拿这个方法在一个垂直领域把 NDCG5 从 0.61 推到 0.74比一步到位的微调稳得多。另外微调完别急着上线先在离线评估集上和原始模型做配对显著性检验确认提升不是噪声再推。这套流程我踩了三四次坑才跑顺希望帮到你。本文还有配套的精品资源点击获取