通过选择性检索增强仓库级代码补全大型代码语言模型在补全任意程序函数代码方面表现出色但面对大型软件开发项目时正确的代码补全可能依赖于代码仓库中其他地方定义的API调用或函数。检索增强生成通过从仓库中获取相关上下文来解决此问题从而丰富模型的理解并改善其输出。但执行检索需要时间并会减慢生成速度它总是最佳选择吗在今年的国际机器学习会议上发表的一篇论文中我们研究了这个问题并发现实际上80%的情况下检索并没有提高代码生成的质量。方法概述为了解决这种低效问题我们微调了一个大型语言模型以确定检索是否可能有所帮助并根据答案输出两个特殊令牌中的一个。为了进行微调我们使用了一个通过以下方式构建的数据集从开源许可证的仓库中采样代码随机掩码代码行并从仓库的其他地方检索相关代码。然后我们比较了大型语言模型在有和没有附加上下文的情况下对掩码代码的重建效果。随后根据检索是否改善了生成效果来为示例打标。在实验中我们发现在代码补全任务上在我们的数据集上微调的代码大型语言模型其表现甚至优于总是执行检索的模型——但由于选择性检索推理速度提高了70%。在论文中我们还报告了大量实验旨在证明我们的方法能够很好地推广到不同的模型和不同的代码补全任务。技术细节创建我们数据集的所有步骤——采样和掩码代码、检索相关代码、以及在有/无检索上下文的情况下进行代码生成——都可以自动化这使得我们的方法是自监督的它不需要人工标注并且可以扩展到任意大的数据集规模。我们试验了多种从仓库检索上下文信息的方法包括使用基于Transformer的语义嵌入来匹配代码序列的UniXCoder以及使用n-gram数据、语法树和代码流语义的CodeBLEU。然而两者都没有比更高效的Jaccard相似度两个符号序列的交集与并集之比表现得更好。因此在我们的大多数实验中我们使用Jaccard相似度进行检索。我们假设使用结构感知分块而不是固定行分块的语义检索可以获得更好的性能。我们将此留作未来的工作。对于模型微调我们使用了“中间填充”机制即掩码代码从代码序列中切出前面和后面的部分用特殊令牌标识。训练目标由输入字符串组成掩码代码附加在字符串末尾同样用特殊令牌标识。这使得模型能够利用掩码代码前后的上下文信息研究表明这比训练模型在前后的部分之间插入生成的代码能产生更好的结果。在微调过程中我们有两个训练目标正确重建缺失的代码以及准确评估检索到的信息何时有助于重建。准确性与延迟评估与现有模型如StarCoder相比我们的方法称为Repoformer在多个基准测试包括RepoEval和针对长格式代码补全的新基准CrossCodeEval上提高了准确性并减少了推理延迟。我们通过一个现实的“在线服务”场景来说明Repoformer降低延迟的能力。我们假设工作仓库已被索引。给定一个包含当前文件的代码补全请求系统同时启动三个进程使用Repoformer做出检索决策使用代码大型语言模型生成没有跨文件上下文的代码补全检索跨文件上下文并使用它生成代码补全。在一系列固定的选择阈值下Repoformer的选择性检索能够同时提高准确性和推理速度。这种性能在广泛的阈值设置下也保持稳定。更有趣的是Repoformer能够作为一个即插即用的策略模型减少作为检索增强生成中生成模型的各种强大代码大型语言模型的推理延迟。凭借超过85%的检索决策准确率Repoformer确保仅在检索增加价值时才使用上下文检索。进一步的分析表明所提出的策略提高了Repoformer对检索的鲁棒性减少了有害检索并增加了通过检索改进的实例数量。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享