Pimp My LLM: Leveraging Variability Modeling to Tune Inference HyperparametersAuthors:Nada Zine, Clément Quinton, Romain RouvoyDeep-Dive Summary:Pimp My LLM利用可变性建模优化推理超参数摘要大语言模型LLMs在各项任务中应用广泛但其巨大的计算需求引发了对能源效率和可持续性的关注。由于推理阶段占据了总计算量的主导地位优化推理过程至关重要。本文提出了一种新视角将 LLMs 视为可配置系统并应用软件工程中的**可变性管理Variability Management**技术来系统地分析推理时的配置选择。我们在 Hugging Face Transformers 库上评估了该方法通过**基于特征的可变性模型Feature-based Variability Model**来表示生成超参数及其约束采样代表性配置并测量其能耗、延迟和准确性最后利用收集的数据训练预测模型。结果表明可变性建模能有效管理 LLM 推理配置的复杂性揭示超参数间的权衡关系并支持对未知配置行为的准确预测。1. 引言LLMs 推理阶段的效率对于降低成本和碳排放至关重要因为推理占 LLM 总计算周期的90 % 90\%90%以上。然而推理服务器如 Hugging Face Transformers, vLLM 等拥有庞大的参数空间参数间的交互往往是非线性且隐性的。这带来了两个挑战(i) 手动配置困难因为许多参数组合是无效或相互依赖的(ii) 穷举评估在计算上不可行。本文将 Hugging Face Transformers 视为一个高度可配置的系统利用**特征建模Feature Modeling**这一基础形式化方法来管理其可变性。主要贡献包括LLM 推理的特征建模将 Transformers 库的可变性编码为公开的特征模型。最优权衡分析识别能耗、延迟与准确性之间的最佳权衡配置。预测方法论开发了“建模-采样-测量-学习”的四步走方法用于预测未知配置的性能。2. 相关工作现有研究已探讨了超参数如解码参数对 LLM 性能和能效的影响但通常只分析有限的子集缺乏对参数间交互和约束的系统性建模。可变性建模已在 Linux 内核、云计算和机器人等领域得到广泛应用但在 LLM 配置空间的应用尚属空白。通过“采样-测量-学习”模式可以从少量的配置样本中学习整个空间的特性。3. 基于可变性驱动的 LLM 推理能效预测本节介绍利用可变性建模系统探索 LLM 推理配置空间的方法流程如图 1 所示。图 1所提方法概览3.1 案例研究Hugging Face Transformers选择该库是因为其文档齐全、应用广泛且暴露了大量的可配置超参数。3.2 建模 Hugging Face Transformers我们使用特征模型FM来捕获推理的可变性。特征模型将配置选项组织为层次化的特征强制、可选或分组并通过跨树约束如“选择 A 必须选择 B”表达依赖关系。图 2 展示了生成的特征模型包含 96 个特征其中 67 个为具体特征产生了约9.37 × 10 12 9.37 \times 10^{12}9.37×1012种有效配置。通过离散化数值参数如温度t e m p e r a t u r e _ 0.7 temperature\_0.7temperature_0.7我们将该空间变得可处理。图 2本文探索的 Hugging Face Transformers 可变性部分展示了跨树约束3.3 采样 LLM 配置由于无法穷举我们采用了三种采样策略t-wise 采样使用 YASA 和 ICPL 算法确保所有参数的 2 元组合至少被覆盖一次这对于捕捉参数交互至关重要。随机采样作为对比基准。3.4 测量推理性能能耗利用perf(RAPL) 测量 CPUnvidia-smi测量 GPU。代码评估使用p a s s k passkpassk指标评估功能正确性。对于n nn个总样本和c cc个正确样本p a s s k passkpassk定义为p a s s k ≔ E P r o b l e m s [ 1 − ( n − c k ) ( n k ) ] \mathrm{pass}k \coloneqq \mathbb{E}_{\mathrm{Problems}}\left[1 - \frac{\binom{n - c}{k}}{\binom{n}{k}}\right]passk:EProblems​[1−(kn​)(kn−c​)​]性能测量从发出请求到收到响应的延迟。3.5 学习与验证使用**随机森林回归RFR**训练预测模型并通过k kk折交叉验证优化。使用决定系数 (R 2 R^2R2)、平均绝对误差 (MAE) 和平均绝对百分比误差 (MAPE) 评估预测精度。4. 实验方法4.1 研究问题RQ1可变性建模在识别影响能耗、性能和准确性的因素方面效果如何RQ2能识别出哪些 Pareto 最优权衡RQ3机器学习模型预测未知配置的准确度如何4.2 数据集与模型数据集使用 HumanEval包含 164 个带有单元测试的 Python 编程问题。所选模型OpenCoder-8B、Qwen2.5-7B-Instruct 和 Qwen2.5-3B-Instruct。4.3 实验设置实验在配备 AMD EPYC 7513 处理器和 4 块 Nvidia A100 GPU 的节点上运行。共评估了 254 种配置每种配置执行 10 次涵盖了 1,249,680 个提示词prompts。实验包含内部校准和热身阶段以确保测量结果的稳定性和准确性。5 实验结果本节展示了针对本研究提出的三个研究问题的实验结果。RQ1变体建模在多大程度上能够系统地识别影响大语言模型LLM推理配置、选项及其交互作用的能耗、性能和准确性图 3 显示了为每个选定的 LLM 生成的所有配置在能耗和准确性方面的变化。Qwen-3B 和 OpenCoder-8B 在约 85% 的配置中能耗和延迟表现非常接近表明效率相似。但在 40% 之后OpenCoder-8B 开始略微偏离 Qwen 模型消耗更多资源。超过 80% 后差距进一步拉大Qwen 模型保持紧凑而 OpenCoder-8B 则急剧向右偏移意味着更高的能效成本和延迟。在准确性Pass1方面高达 60% 的配置分布相似。在高端部分Qwen-3B 和 OpenCoder-8B 达到了相同的最高准确率而 Qwen-7B 以微弱优势超越了它们。图 3各评估 LLM 在不同配置下的能耗、性能和准确性的累积分布函数CDF。特征分析Feature-wise Analysis。为了评估单个推理超参数的影响研究采用了 Guégain 等人提出的特征分析方法。该方法通过聚合采样配置的测量值来隔离每个特征对特定指标的贡献。表 2原文提及报告了对能耗、延迟和准确性影响最强的五个超参数值。在能耗和延迟维度上相同的特征始终表现出最强的影响力表明两者之间存在强相关性。使用离线缓存Offloaded cache会导致能耗大幅增加。如图 4 所示相比之下替代的缓存实现——如动态C1、混合C2和静态C4——表现出持续较低的能耗。此外束搜索数量number of beams和束组数beam groups均固定为 4也是影响能效和延迟的最强特征。这些机制增加了每个 token 的前向传递次数导致更高的计算成本。图 4每种缓存实现的能耗特征分析。C1、C2、C3 和 C4 分别对应动态、混合、离线和静态配置。在准确性方面与重复控制、解码策略和内存使用相关的超参数占主导地位。no-repeat-ngram设置为 0 在本研究案例中对准确性最有效。low-memory参数虽然节省资源但会略微降低 token 预测质量。解码策略中贪婪解码Greedy decoding在实验中提高了准确性。如图 5b 所示贪婪搜索D4在所有测试策略中准确率最高同时如图 5a 所示它也是能耗最低的策略。成对分析Pairwise Analysis。为了分析超参数之间的交互作用研究捕获了特征对对给定指标的组合效应。表 3原文提及报告了在贪婪搜索解码下对能耗、延迟和准确性影响最强的特征组合。例如静态缓存增加了13.76 k J 13.76\mathrm{kJ}13.76kJ的能耗而启用do_sample则能减少8.59 k J 8.59\mathrm{kJ}8.59kJ的能耗。RQ1 总结通过变体建模我们系统地识别了推理超参数如何单独或通过交互影响能耗、延迟和准确性。能耗和延迟高度相关主要受离线缓存和增加前向传递次数的参数驱动而准确性主要受解码策略和内存优化特征的影响。RQ2在能耗、性能和准确性之间可以识别出哪些帕累托最优Pareto-optimal权衡研究计算了所有选定 LLM 的帕累托前沿图 6。结果显示随着能耗增加准确性的提升呈现收益递减。低能耗阶段约 20-25 kJ能量的微小增加会带来准确性的巨大提升Pass1 从 0.66Qwen-3B提升到 0.75Qwen-7B。此阶段通常使用动态缓存、单束搜索和特定的采样参数。平衡阶段约 35-40 kJ准确率增益变得平缓从 0.75 到 0.77。配置通常使用 Qwen-7B、动态缓存、两束搜索和低采样温度。高精度阶段49-64 kJPass1 达到最高值 0.80但能耗比平衡阶段增加了多达 66%。这些配置采用了更激进的解码策略3-4 束搜索和复杂的缓存策略。(a) 每种解码实现的能耗特征分析。(b) 每种解码实现的 Pass1 特征分析。RQ2 总结我们识别了不同等级的推理配置以平衡能耗、延迟和准确性。大部分准确性增益可以在低能耗方案中实现而追求最高准确性则需要极高的能量消耗和复杂的配置。图 6展示不同配置和选定 LLM 在能耗与准确性之间权衡的帕累托前沿。RQ3机器学习模型在多大程度上能准确预测未见过的 LLM 推理配置的能耗、性能和准确性表 5原文提及报告了预测性能。总体而言准确预测未见过的推理配置是可行的但预测效果取决于目标指标和训练集的采样策略。使用所有三种采样器ALL组合训练的模型在所有指标上始终表现最佳其能耗的R 2 R^2R2达到 0.95延迟为 0.94准确性为 0.99。在单个采样器中2-wise 采样器ICPL表现最差而 YASA 在各项指标上均具有竞争力。RQ3 总结机器学习模型能够准确预测能耗、延迟和准确性。增加训练数据的多样性组合多种采样策略能显著提升模型效果。7 结论与未来工作本文将 LLM 推理过程视为一个高度可配置的系统并引入变体建模技术进行管理。结果表明该方法能够系统地探索复杂的配置空间分析参数对能耗、性能和准确性的影响并支持构建高效的预测模型。未来工作包括(i) 丰富变体模型以纳入硬件和部署选项(ii) 利用该方法在推理过程中进行自适应重新配置(iii) 将方法扩展到更多的服务器、数据集和模型。数据可用性所有代码、笔记本、超参数选择和实验设置的补充信息均可在 https://doi.org/10.5281/zenodo.17375044 公开获取。Original Abstract:Large Language Models (LLMs) are being increasingly used across a wide range of tasks. However, their substantial computational demands raise concerns about the energy efficiency and sustainability of both training and inference. Inference, in particular, dominates total compute usage, making its optimization crucial. Recent research has explored optimization techniques and analyzed how configuration choices influence energy consumption. Yet, the vast configuration space of inference servers makes exhaustive empirical evaluation infeasible due to combinatorial explosion. In this paper, we introduce a new perspective on this problem by treating LLMs as configurable systems and applying variability management techniques to systematically analyze inference-time configuration choices. We evaluate our approach on the Hugging Face Transformers library by representing generation hyperparameters and their constraints using a feature-based variability model, sampling representative configurations, measuring their energy consumption, latency, accuracy, and learning predictive models from the collected data. Our results show that variability modeling effectively manages the complexity of LLM inference configurations. It enables systematic analysis of hyperparameters effects and interactions, reveals trade-offs, and supports accurate prediction of inference behavior from a limited number of measurements. Overall, this work opens a new research direction that bridges software engineering and machine learning by leveraging variability modeling for the efficient and sustainable configuration of LLMs.PDF Link:2602.17697v1部分平台可能图片显示异常请以我的博客内容为准