Mine and Refine: Optimizing Graded Relevance in E-commerce Search RetrievalAuthors:Jiaqi Xi, Raghav Saboo, Luming Chen, Martin Wang, Sudeep DasDeep-Dive Summary:这篇名为《Mine and Refine: Optimizing Graded Relevance in E-commerce Search Retrieval》的论文介绍了一种名为“挖掘与细化”Mine and Refine的两阶段对比训练框架旨在优化电商搜索召回中的多级相关性。以下是该论文相关部分的中文摘要和详细解读1. 摘要 (Abstract)本文提出了一种用于语义文本嵌入的两阶段“挖掘与细化”对比训练框架以增强多类别电商搜索召回。大规模电商搜索要求嵌入模型能泛化到长尾、多噪查询同时遵循与产品和政策约束兼容的可扩展监督。实际挑战在于相关性通常是分级的用户除了接受精确匹配外还接受替代品或互补品。核心方法标签获取微调轻量级 LLM基于人类标注以实现三级相关性相关、中等相关、不相关的自动标注并通过点击行为engagement驱动的审计进一步减少噪声。第一阶段Stage 1使用带有标签感知的有监督对比学习SupCon目标训练多语言孪生Siamese双塔召回器构建稳健的全局语义空间。第二阶段Stage 2通过近似最近邻ANN挖掘难样本并使用 LLM 重新标注。引入Circle Loss 的多分类扩展显式强化不同相关性级别之间的相似度边界。鲁棒性增强采用拼写增强和合成查询生成技术。结果离线评估和线上 A/B 测试表明该框架显著提升了召回相关性并在转化率和业务影响上取得了统计学显著的收益。2. 引言 (Introduction)语义召回已成为现代电商搜索的核心但在生产环境中面临两个挑战相关性是分级的且受政策驱动搜索结果包含精确匹配、替代品、互补品和不相关项。清晰的得分边界有助于混合排序和阈值设定。难样本挖掘可能引入噪声简单的难负采样Hard Negative Mining常将“接近但不相关”的项如政策允许的替代品误标为负样本从而破坏训练信号。3. 标签框架 (Labeling Framework)系统将查询-商品对( q , d ) (q, d)(q,d)分为三类2相关、1中等相关如替代品或互补品、0不相关。LLM 标注微调 gpt-4o-mini在 3 分类任务上达到87.6 % 87.6\%87.6%的准确率。参与度审计Engagement Audit针对标注标签与用户行为如高点击但标注为 0不一致的情况使用更强大的 LLM如 GPT-4o, Gemini-1.5-Flash进行重新评估将标注错误率降低了5.74 % 5.74\%5.74%。4. 语义嵌入模型 (Semantic Embedding Model)4.1 模型架构采用孪生编码器Siamese Encoder架构带有两个独立的投影层将嵌入压缩到低维空间。基础模型使用 0.1B 参数的多语言预训练模型。图 1Mine and Refine 概览第一阶段在原始数据集上训练第二阶段在课程学习数据集上使用具有自适应权重的 Circle Loss 进行训练。4.2 训练数据与增强目录属性丰富将商品名称与层级分类路径拼接。合成查询基于商品特征生成合成查询对。拼写变体增强使用 NEUSPELL 生成拼写错误的变体并加入训练提高对错误输入的鲁棒性。4.3 第一阶段训练SupCon采用有监督对比损失SupCon并将其扩展到多级标签。对于查询q qq其损失定义为L q − 1 ∑ i ∈ P ( q ) r i ∑ i ∈ P ( q ) r i log ⁡ ( exp ⁡ ( ⟨ e q , e d i ⟩ / τ ) ∑ j 1 N q exp ⁡ ( ⟨ e q , e d j ⟩ / τ ) ) , ( 2 ) \mathcal{L}_q -\frac{1}{\sum_{i\in P(q)}r_i}\sum_{i\in P(q)}r_i\log \left(\frac{\exp(\langle e_q,e_{d_i}\rangle / \tau)}{\sum_{j 1}^{N_q}\exp(\langle e_q,e_{d_j}\rangle / \tau)}\right), \quad (2)Lq​−∑i∈P(q)​ri​1​i∈P(q)∑​ri​log(∑j1Nq​​exp(⟨eq​,edj​​⟩/τ)exp(⟨eq​,edi​​⟩/τ)​),(2)其中r i r_iri​是标签值P ( q ) P(q)P(q)是正样本集合τ \tauτ是可学习的温度系数。4.4 挖掘与细化采样方案与 Circle Loss离线难样本挖掘使用第一阶段模型通过 ANN 检索前k kk个结果利用 LLM 重新标注。筛选出难负样本排名靠前但标签为 0 的项。难正样本排名靠后但标签为 1 或 2 的项。多分类 Circle Loss为了让不同级别的相似度分布更加分明作者扩展了 Circle Loss。针对不同的三级标签组合Case I: 2 vs 0; Case II: 1 vs 0; Case III: 2 vs 1通过设置不同的边界参数如Δ 2 , p 0.75 , Δ 0 , n 0.25 \Delta_{2,p} 0.75, \Delta_{0,n} 0.25Δ2,p​0.75,Δ0,n​0.25等来优化得分空间。例如Case I (相关 vs 不相关) 的损失函数L 2 , 0 log ⁡ [ 1 1 ∣ I g , 0 ∣ ∑ i ∈ I g , 2 exp ⁡ ( − y max ⁡ ( O 2 , p − s i , 0 ) ( s i − Δ 2 , p ) ) ∑ j ∈ I g , 0 exp ⁡ ( − y min ⁡ ( O 0 , n − s j , 0 ) ( s j − Δ 0 , n ) ) ] \mathcal{L}_{2,0} \log \Big[1 \frac{1}{|I_{g,0}|}\sum_{i\in I_{g,2}}\exp \Big(-y\max (O_{2,p} - s_i,0)(s_i - \Delta_{2,p})\Big) \sum_{j\in I_{g,0}}\exp \Big(-y\min (O_{0,n} - s_j,0)(s_j - \Delta_{0,n})\Big)\Big]L2,0​log[1∣Ig,0​∣1​i∈Ig,2​∑​exp(−ymax(O2,p​−si​,0)(si​−Δ2,p​))j∈Ig,0​∑​exp(−ymin(O0,n​−sj​,0)(sj​−Δ0,n​))]通过这种方式模型学到了更紧凑的类内分布和更清晰的类间边界。图 2Stage 1 (SupCon) 与 Stage 2 (Circle Loss) 相似度得分分布的提琴图对比。5. 评估与实验设置在超过 2 亿个商品的索引库上进行测试。对比系统包括词法基准BM25、混合搜索基准加权三元组损失训练以及应用了“挖掘与细化”框架的新系统。结果离线指标NDCG, Recall, Precision全面提升。在线 A/B 测试显示在不改变下游排序逻辑的情况下仅更换召回嵌入模型就带来了加购率、转化率和总订单金额GOV的显著增长。5.2 相关性评估评估数据集。为了评估嵌入模型的独立性能及其对整体搜索相关性的增量影响我们进行了以下两项评估黄金评估集Golden Eval Set包含 1.55 亿个查询-项目query-item对的综合查询集使用小型索引进行离线评估。该集合由微调后的相关性标注 LLM 根据第 3 节描述的三级策略进行标注。为反映真实搜索行为评估集混合了头部和长尾查询、多个产品类别以及相当比例的拼写错误和多语言查询。特别是评估集中约30 % 30\%30%的唯一查询未出现在训练数据中。对于给定查询我们从用户搜索日志中采样项目并结合随机选择的项目形成对应查询的项目组。具体而言每个查询的负样本标签 0比例至少为65 % 65\%65%以尽可能匹配生产环境的分布。对于分级相关性我们将三个标签映射到增益值标签 2 为 1标签 1 为 0.5标签 0 为 0。Figure 3: Violin Plots for distributions of query level average margin:E d ( 2 ) ⟨ q , d ( j ) ⟩ − E d ( 0 ) ⟨ q , d ( i ) ⟩ , i j , i , j ∈ { 0 , 1 , 2 } \mathbb{E}_{d^{(2)}}\langle q,d^{(j)}\rangle -\mathbb{E}_{d^{(0)}}\langle q,d^{(i)}\rangle ,i j,i,j\in \{0,1,2\}Ed(2)​⟨q,d(j)⟩−Ed(0)​⟨q,d(i)⟩,ij,i,j∈{0,1,2}Side by Side生产环境副本。为了评估采用“挖掘与精炼”Mine and Refine方法训练的嵌入检索模型在搜索系统中的端到端性能我们根据年度搜索参与度分布采样了 1.2 万个查询。评估采用离线 A/B 风格框架对照组是生产系统的精确副本而实验组仅在嵌入检索模型上有所不同。收集两组的搜索结果并计算 NDCG10以衡量系统整体相关性的变化。离线评估结果。结果表明所提模型无论是在独立性能上与强大的预训练模型相比还是在集成到搜索流水线中时都取得了显著更好的表现。黄金评估集如表 1 所示我们提出的训练设计优于预训练主干编码器的一个更大、更高维度的变体其隐藏层大小远超我们模型的嵌入维度。选择该模型作为基准有两个原因首先它是预训练编码器的更强版本提供了公平的比较其次它在参数量约为 0.6B 或更少的已知预训练多语言文本嵌入模型中表现最佳针对 DoorDash 零售搜索是具有意义的评估参考。Side by Side表 2 报告了词法检索基准、混合检索基准与采用所提模型的混合搜索检索之间的端到端性能比较。结果显示该模型不仅在检索阶段带来了增量增益还提升了最终排序阶段的质量。以 NDCG 为北极星指标。召回率Recall通常被视为检索任务的主要指标但我们也注意到精确率Precision至关重要因为精确率的提升通常意味着下游排序任务的噪声更少。我们在二阶段排序器中测试了两组语义搜索嵌入与各自的检索嵌入配对。两者的召回率相似但高精确率的嵌入进一步提升了相关性而低精确率的嵌入可能会略微降低排序器的性能。因此NDCGK 被选为主要指标因为它通过奖励排在顶部的相关项目隐含地平衡了召回率和精确率确保了即使在检索规模较小以保证效率的情况下也能拥有稳健的检索性能。5.3 线上 A/B 实验我们通过生产环境的线上 A/B 测试验证了离线增益。实验运行了一个月基准组和“挖掘与精炼”组之间的流量分配为50 % / 50 % 50\% / 50\%50%/50%实验组仅替换了检索组件保持下游排序和业务逻辑不变。在表 3 中我们展示了加购率ATCR、转化率CVR和总订单价值GOV的相对提升。统计显著性使用预定义阈值此处为p 0.05 p 0.05p0.05的标准双样本检验进行评估。5.4 消融实验模型架构。在模型架构方面如表 1 和表 4 所示Siamese孪生编码器在两个训练阶段的表现始终优于非对称编码器。尽管具有解耦参数的非对称编码器可能允许模型更好地针对各自的领域查询和项目进行微调但我们观察到保持 Siamese 结构能获得略好的性能。分层项目分类体系Taxonomy增强。表 4 的实验结果表明引入分类信息可以改善项目类别聚类中的歧义消除。然而过于细粒度的分类层级会引入噪声而不会在电子商务搜索的语义空间中产生相应的收益。合成查询增强。我们将基于项目特征生成的合成查询比例保持在较低水平类似于 [29]因为此类查询通常与正向项目表现出高于平均水平的词法相似性如果这些配对占比过高会使模型偏向词法匹配。我们观察到低比例注入合成查询能提高标准指标下的整体模型性能但会降低分离度。然而当仅针对缺乏正向查询-项目对的项目有选择地添加合成查询并结合丰富的项目景观Item Landscape时模型既提升了性能又增强了分离度见表 5。训练查询的拼写增强。我们探索了几种提高模型对拼写扰动鲁棒性的策略如表 6 所示。在正确查询及其拼写变体之间进行正则化旨在通过聚类相似嵌入来鼓励不变性然而这种方法导致了对查询特定模式的过拟合并增加了对拼写噪声的敏感性。就地替换In-place substitution同样没有带来可衡量的益处。我们推测不带对应正确查询的拼写变体主要引入了噪声因为它们缺乏模型可以学习的良好语义结构。相比之下第 4.2 节描述的附加式增强Additive Augmentation显著提高了模型质量且没有降低在正确查询集上的表现。硬样本挖掘。第 4.4 节描述的阈值k / 2 k/2k/2是在模型训练期间选择的可以根据模型的容量和性能进行调整。特别地在我们的案例中包含最难的负样本例如前 10 名中标签为 0 的项目略微提升了性能这与 [7] 的结果不同可能是因为 Circle Loss 比 Triplet Loss 对硬负样本更鲁棒降低了梯度消失或模型发散的风险。对“硬正样本”的定义也可以根据对标签 1 的理解进行调整。对于相关项目较少的狭窄或小众查询包含标签 1 样本有助于模型学习查询与项目之间正确的相对间距。Table 4: Ablation Studies on Model Architecture and Item Taxonomy EnrichmentModelTaxonomyRecallKPrecisionKK 10K 50K 100K 10K 50K 100baseline: few shot finetuned low dim model*None-----(asymmetric, circle loss)4 level-15%-13%-11%-15%-13%(asymmetric, circle loss)None-11%-10%-9%-11%-10%(asymmetric, SupCon)4 level2%3%3%2%3%(asymmetric, SupCon)None4%4%3%3%3%(Siamese, SupCon)4 level8%6%6%7%6%(Siamese, SupCon)None9%7%5%9%7%(Siamese, SupCon)2 level10%7%7%10%8%(Siamese, SupCon) (asymmetric, triplet loss)2 level6%7%9%9%9%(Siamese, SupCon) (asymmetric, circle loss)2 level13%12%11%13%12%6 结论在本文中我们介绍了数种用于训练数据构建和模型优化的技术这些技术在 DoorDash 的特定领域背景下突破了现有小规模检索嵌入模型的界限。特别是所提出的“挖掘与精炼”Mine and Refine策略——即结合 Circle Loss 且受 LLM 监督的离线硬正/负样本挖掘——贡献了大部分性能增益。所提模型在嵌入模型的离线相关性评估、端到端搜索流水线以及线上实验中均展现了持续的提升。致谢感谢 Praveen Kolli、Sharat Bhat 和 Utsaw Kumar 在混合基准方面的讨论和贡献。同时感谢 Aditya Dodda、Johny Rufus、Kenneth Chi、Sashi Bommakanty、Akshad Vishwanathan 和 Elyse Winer 在扩展基于嵌入的检索基础设施方面的支持这是支持 DoorDash 语义搜索的核心组成部分。Original Abstract:We propose a two-stage “Mine and Refine” contrastive training framework for semantic text embeddings to enhance multi-category e-commerce search retrieval. Large scale e-commerce search demands embeddings that generalize to long tail, noisy queries while adhering to scalable supervision compatible with product and policy constraints. A practical challenge is that relevance is often graded: users accept substitutes or complements beyond exact matches, and production systems benefit from clear separation of similarity scores across these relevance strata for stable hybrid blending and thresholding. To obtain scalable policy consistent supervision, we fine-tune a lightweight LLM on human annotations under a three-level relevance guideline and further reduce residual noise via engagement driven auditing. In Stage 1, we train a multilingual Siamese two-tower retriever with a label aware supervised contrastive objective that shapes a robust global semantic space. In Stage 2, we mine hard samples via ANN and re-annotate them with the policy aligned LLM, and introduce a multi-class extension of circle loss that explicitly sharpens similarity boundaries between relevance levels, to further refine and enrich the embedding space. Robustness is additionally improved through additive spelling augmentation and synthetic query generation. Extensive offline evaluations and production A/B tests show that our framework improves retrieval relevance and delivers statistically significant gains in engagement and business impact.PDF Link:2602.17654v1部分平台可能图片显示异常请以我的博客内容为准