ARPO(Agentic Reinforced Policy Optimization)来自https://arxiv.org/pdf/2507.19849和https://mp.weixin.qq.com/s/mFNRs-bHCAAe3x4QZHF8aA感觉文章的表述比较墨迹但基本是合理的作者基于几个观察在每次工具调用后的前 10–50 个 token 内熵显著上升。在推理的初始阶段熵往往会增加但仍低于大模型接收到工具调用反馈后的水平。搜索引擎的反馈引入的熵波动比代码编译器的执行反馈更大。基于熵的自适应 rollout 机制针对第1点观察作者设计了基于熵的自适应 rollout 机制。作者设定全局 rollout 规模 M但是初始的时候只rollout N个轨迹。每次调用工具后由于熵显著上升所以模型会在拼接工具返回结果后继续生成 k 个 token用k个token来计算熵的变化。当熵的变化超过阈值时就从剩下的M-N个预算中占用Z个如果熵的变化没超过阈值就继续生产。简单来说这种方法把原本要生产的M个rollout改成了熵大的时候就多rollout几个轨迹熵小的时候就少rollout几个轨迹。但是文章这段的表述有点啰嗦这部分代码写的也有点啰嗦 https://github.com/RUC-NLPIR/ARPO/blob/main/ARPO/verl_arpo_entropy/verl/workers/rollout/vllm_rollout/vllm_rollout_with_tools.py针对共享片段和分支路径设计Advantages估计ARPO 的熵驱动自适应 rollout 会产生包含共享推理片段和分支路径的轨迹这启发我们优化策略更新方式更好地利用步骤级工具调用信息。硬优势估计明确区分共享和分支 token对共享部分计算平均优势对分支部分单独计算软优势估计当两个轨迹在 t 步之前共享相同 token 前缀时它们的共享 token 具有相同的重要性权重因此这一更新过程近似等价于硬优势估计并且更优雅。分层rewards设计ARPO 的奖励函数综合考虑答案正确性、工具调用格式及多工具协作。 如果模型在推理中使用了搜索 search 和代码 python 等多种工具并保证答案正确且格式合规会获得额外奖励AEPO(Agentic Entropy-Balanced Policy Optimization)来自于https://arxiv.org/pdf/2510.14545简单来说就是ARPO的升级版总结了High-Entropy Rollout Collapse和High-Entropy Token Gradient Clipping这两个问题High-Entropy Rollout CollapseARPO算法对于高熵轮次过度调用工具解决方案是对高熵的分支进行熵剪裁High-Entropy Token Gradient Clipping类似CISPO算法一样插入了一个stop gradient的操作