01研究背景与数据来源研究背景本文基于上海交通大学、阿里巴巴在USENIX ATC25上联合发表的研究成果《KV Cache in the Wild: Characterizing and Optimizing KV Cache at a Large Cloud Provider》。研究通过分析阿里云通义千问大模型服务集群的两类生产环境负载轨迹Production Traces系统性地揭示了KV Cache在实际云环境中的工作负载特征并提出负载感知的缓存淘汰策略以指导LLM服务中的KV Cache管理实现吞吐量提升与延迟降低。两类核心数据集包括面向消费者场景的Trace Ato-C涵盖聊天机器人、文件分析、多模态交互等服务具备显著的人机交互特征面向企业API调用的Trace Bto-B纯自动化API请求02 核心问题识别现有LRULeast Recently Used、FIFOFirst In First Out等负载无关Workload-Agnostic的缓存淘汰策略存在显著局限其未充分考虑LLM服务中KV Cache复用的独特特征包括单轮与多轮请求的差异性、短暂的生命周期以及请求类型对复用模式的影响。03 核心设计与创新针对上述问题研究提出基于负载特征的优先级计算机制KV Cache优先级计算综合三项关键指标计算KV块KV Block优先级复用概率分布基于请求类别拟合指数分布预测复用概率空间局部性赋予前缀匹配更高的优先级权重生命周期约束基于短暂的生命周期特征限制概率计算的时间窗口。算法实现优先级最低者优先淘汰。系统为每个负载类别维护按其最后访问时间排序的KV Cache块优先级队列将淘汰决策复杂度从O(N)降至O(W)W为负载类别数通常为数十量级显著降低运行时性能开销。04 KV Cache工作负载核心特征复用率特征生产环境中KVCache呈现较高的重用率但低于理论预期to-C场景复用率为62%to-B场景为54%均低于部分文献报告的80%缓存命中率理想值。对话模式与复用来源to-C场景以多轮交互为主多轮对话占比47%-51%。to-B场景几乎为单轮API请求多轮占比仅0.08%但单轮对话贡献了97%的缓存命中。其核心原因在于API调用任务通常共享系统级Prompt或特定文档内容且QPS较高10QPS能够高频复用具有相同前缀的KV Cache。跨用户复用局限性跨用户的KV Cache复用较为有限多数复用发生在用户内部。这表明用户倾向于使用自定义Prompt而非标准化第三方模板导致跨用户共享概率降低。分布式偏斜性KV Cache复用呈现显著的偏斜分布to-C场景中19%的用户请求贡献90%的复用量to-B场景中该比例仅为4%。成因包括请求在用户间分布不均to-B场景15%的用户贡献90%的请求量特定用户的请求模式产生更高复用如偏好多轮对话的用户。时间局限性KV Cache复用周期极短to-C场景80%的复用发生在10分钟内to-B场景80%的复用在10秒内完成。给定时间段与请求类别下复用时间遵循指数分布具备基于历史数据的可预测性。空间局限性从头开始缓存Prefix Caching可实现最优空间局部性。文本与多模态请求表现出显著的空间局部性而文件分析、搜索类请求因系统Prompt高度依赖用户输入缺乏空间局部性。容器需求特征to-B场景中KV Cache生命周期极短P99生命周期仅97秒。研究表明采用LRU策略时每GPU配备2倍于其HBM容量的KV Cache存储即可在常见GQA模型上接近无限容量下的理想命中率无需引入复杂的CPU-RDMA-SSD多级存储架构。图工作负载类型和请求的多轮比例05 实验验证与结论研究在vLLM框架中集成该策略并针对Qwen2-7B、Llama2-13B、Llama3-70B模型进行测试。相较LRU、LFU、S3-FIFO等基线策略KV Cache命中率提升8.1%-23.9%最高达23.9%队列化首Token时间QTTFT, Queued Time To First Token降低28.3%-41.9%。研究价值本研究为LLM服务的KV Cache系统设计提供了数据驱动的优化指导在性能与资源成本之间实现有效平衡对大规模智算中心的KV Cache管理具有重要实践意义。论文链接https://www.usenix.org/conference/atc25/presentation/wang-jiahao