Torch编译缓存提升推理速度很多模型特别是FLUX系列的模型会应用各种torch.compile技术/技巧来提高推理速度。对编译函数的第一次调用会跟踪并编译代码这会增加开销。随后的调用则运行优化后的代码速度会显著加快。提示在我们对black-forest-labs/flux-kontext-dev模型进行推理速度测试时编译版本比未编译版本的运行速度快了30%以上。性能提升通过在模型容器生命周期之间缓存编译产物我们看到了冷启动时间的显著改善black-forest-labs/flux-kontext-dev: ~120秒 → ~60秒提速50%prunaai/flux-schnell: ~150秒 → ~70秒提速53%prunaai/flux.1-dev-lora: ~400秒 → ~150秒提速62%该缓存还改善了所有使用torch.compile的模型从容器的启动到首次成功预测所需的时间。工作原理该缓存系统的工作原理与许多CI/CD缓存系统类似当模型容器启动时它会寻找缓存的编译产物。如果找到Torch会复用它们而不是从头开始重新编译。当容器正常关闭时如果需要它们会更新缓存。缓存文件以模型版本为键进行存储并放置在靠近GPU节点的位置。了解更多要了解更多关于如何使用torch.compile的信息请查阅相关的技术文档和官方PyTorchtorch.compile教程。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享