1. 项目概述当技能创造遇上策略优化最近在强化学习社区里一个名为“ReSkill”的框架讨论热度挺高。它瞄准了一个在智能体强化学习Agentic RL中长期存在的核心矛盾技能创造与策略优化之间的内在张力。简单来说我们既希望智能体能自主地发现和构建有用的、可重用的技能比如“开门”、“搬运”、“组合工具”又希望它能高效地利用这些技能去优化一个最终的目标策略比如“在迷宫中找到宝藏”。但这两件事往往不是同步的甚至可能互相掣肘。传统的做法要么是先离线学一堆技能再让上层策略去调用这容易导致技能库与当前任务脱节要么是让策略在优化目标的同时“顺便”学点技能这又可能导致技能学得粗糙、不通用。ReSkill提出的“调和”思路正是试图打破这个僵局。它背后的GRPOGradient-based Reward and Policy Optimization算法以及与之相关的微调配置如与VERL框架的结合成为了大家关注的焦点。这篇文章我就结合自己的实验和理解拆解一下ReSkill的核心思想、GRPO的运作机制以及在实际配置中如何让技能创造真正服务于策略进化。2. 核心矛盾拆解技能与策略为何“打架”要理解ReSkill的价值首先得看清它要解决什么问题。在赋予智能体更高自主性的Agentic RL场景中我们希望智能体不是被动反应而是能主动规划、使用工具、完成复杂任务。这就引出了两个层面的学习2.1 技能创造的“理想”与“现实”技能在这里可以理解为一段可重复使用的、达成某个子目标的动作序列或策略片段。比如在一个机器人操作任务中“拿起杯子”可以是一个技能“走到桌子旁”是另一个技能。理想我们梦想的技能库应该是模块化、可组合、可解释的。智能体能够自主发现环境中哪些行为模式是频繁出现且有价值的将其抽象封装成技能。之后面对新任务它能像搭积木一样快速组合这些技能实现高效迁移和零样本学习。现实大多数技能发现方法如基于互信息最大化的、基于状态分割的是无监督或自监督的。它们学习的驱动力是数据本身的统计特性比如让技能对应的状态分布尽可能不同或者让技能的执行轨迹具有高辨识度。问题在于这些数据驱动的技能其“有用性”并没有与最终的任务奖励直接挂钩。一个辨识度很高的技能可能只是在环境里“转圈圈”对完成目标任务毫无帮助。这就造成了技能创造与最终目标之间的脱节。2.2 策略优化的“捷径”与“短视”另一方面策略优化的唯一指挥棒是累积奖励。它的目标是找到一条获得最高奖励的路径。捷径在端到端的策略优化中比如PPO、SAC智能体会倾向于寻找奖励函数的“漏洞”或最直接的路径。它没有动力去学习一个通用但可能在当前任务中并非最优的“标准技能”。例如为了拿到高处的物体策略可能学会了一种奇怪的、扭曲身体的不稳定姿势虽然这次成功了但这个姿势无法复用到其他需要“伸展”的场景。短视纯粹奖励驱动的优化容易陷入局部最优。智能体学会了一套在特定任务分布下有效的“野路子”但缺乏基础、鲁棒的技能作为支撑。当任务稍有变化比如物体重量改变、摩擦力变化这套策略可能就完全失效因为它没有分解和重组能力。2.3 矛盾的根源优化目标的不一致归根结底矛盾源于优化目标的不一致技能创造的优化目标通常是内在目标如技能多样性、互信息、重建误差等。策略优化的优化目标永远是外在目标即环境给出的任务奖励。ReSkill要做的“调和”就是设计一个机制让这两个过程共享信息、相互促进而不是各自为政或相互冲突。它要让技能的学习过程能“感知”到任务奖励的梯度同时让策略的优化过程能“利用”到技能提供的结构化抽象。3. ReSkill框架设计思路解析ReSkill不是一个具体的算法而是一个框架性的设计思想。它的核心是建立技能创造模块和策略优化模块之间的双向通信与协同更新机制。下面我以一种典型的实现架构来拆解其思路。3.1 双路径学习架构想象一下智能体内部有两个“部门”技能部和策略部。技能部Skill Creator负责生产技能。它观察环境状态输出一个“技能代码”或“技能索引”。这个技能代码会输入到一个技能解码器中解码器负责将抽象的代码转换成具体的底层动作或动作分布。技能部的训练目标是让自己产生的技能既多样又有用。策略部Policy Manager负责决策。它接收环境状态和/或技能部提供的技能信息决定当前是使用某个已有技能还是探索新行为或者直接输出原始动作。策略部的训练目标是最大化累积任务奖励。关键来了这两个部门不是独立的技能效用反馈策略部在执行后获得的奖励梯度会有一部分反向传播给技能部。这意味着如果一个技能被调用后导致了高奖励或高奖励梯度那么产生这个技能的技能部参数就会得到正向更新。反之一个总是导致低奖励或糟糕后果的技能其生成概率就会降低。这就将任务奖励信号引入了技能创造过程解决了技能与任务脱节的问题。技能条件化策略策略部的输入显式地包含了当前可用的技能信息例如所有技能编码的集合或技能特征。这使得策略能够学会在什么状态下选择什么技能甚至学会组合技能的时序。策略的更新会推动它去更有效地利用和调度技能库。3.2 GRPO算法的核心角色GRPOGradient-based Reward and Policy Optimization是ReSkill框架中实现上述思想的一种具体算法引擎。它的“Gradient-based”是关键。对策略部GRPO处理策略优化。它可以是基于策略梯度的方法如PPO的变体负责更新策略网络以最大化期望奖励。对技能部GRPO的精髓在于它将奖励梯度也用于更新技能生成网络。具体来说在轨迹中每个时间步的技能是由技能部产生的。计算该轨迹的回报和优势函数。更新策略部时优势函数用于评估“在某个状态下选择某个技能或动作的好坏”。同时这个优势函数也作为信号用于更新技能部中生成该技能编码的网络部分。如果使用某个技能编码后获得的优势值高那么生成这个编码的技能部参数就会得到加强。这就实现了一种基于梯度的技能效用评估。技能不再仅仅因为“不同”而被创造更因为“有用”能带来高优势而被强化。GRPO通过共享梯度流将技能创造和策略优化这两个优化循环耦合在了一起。3.3 与分层RL的区别很多人会把ReSkill和分层强化学习HRL混淆。虽然都涉及抽象但侧重点不同传统HRL如Option框架通常预设了技能Option的终止条件和高层策略的更新周期。技能的内部策略和终止函数也需要学习但技能本身的存在和结构往往是预设或通过其他独立方法发现的。ReSkill更强调技能的涌现式创造和与策略的协同进化。技能部可以持续不断地产生新的技能编码技能的数量和内容不是固定的而是随着策略探索和任务需求动态演化的。它更专注于“创造”与“使用”这个闭环的调和机制本身。4. GRPO算法实操与关键配置理解了框架思想我们来看如何具体实现和配置一个基于GRPO的ReSkill智能体。这里我会结合常见的实现方案和需要注意的坑。4.1 网络结构定义首先需要定义三个核心神经网络技能编码器/生成器 (Skill Encoder/Generator,f_skill)输入当前状态s_t可选地包含之前的状态或技能上下文。输出一个技能编码z_t通常是一个连续向量即隐变量。设计要点z_t的维度决定了技能空间的容量。太小则表达能力不足太大则难以训练且容易过拟合。通常作为一个高斯分布的参数均值和方差通过重参数化技巧采样得到具体编码。技能解码器/底层策略 (Skill Decoder/Low-level Policy,π_lo)输入技能编码z_t和当前状态s_t。输出底层动作a_t的分布如高斯分布的均值和方差。设计要点这个网络将抽象的技能编码具体化为动作。它需要足够强大以执行各种技能但又不能过于复杂以至于掩盖了技能编码的作用。通常π_lo是条件化的即对于不同的z_t它应产生显著不同的动作分布。高层策略/技能管理器 (High-level Policy/Manager,π_hi)输入当前状态s_t和/或当前的技能编码z_t或技能库信息。输出下一个技能编码z_{t1}的分布或者决定是否保持当前技能、终止当前技能并选择新技能。设计要点π_hi的决策频率通常比π_lo低即一个技能会持续多个时间步。它负责技能的时序组合。在GRPO中f_skill和π_hi有时可以合并或紧密耦合因为π_hi的选择本质上就是在“生成”技能编码。4.2 损失函数设计与梯度流这是GRPO实现“调和”的核心。总损失函数通常包含以下几部分1. 策略优化损失 (L_policy)这部分就是标准的策略梯度损失例如PPO的 clipped surrogate objective。它用于更新高层策略π_hi。L_policy E[min( r_t(θ) * A_t, clip(r_t(θ), 1-ε, 1ε) * A_t )] 其中r_t(θ) π_hi(z_t | s_t) / π_hi_old(z_t | s_t) A_t 是优势函数。关键这里的动作是技能编码z_t优势函数A_t评估的是“在状态s_t下选择技能编码z_t的好坏”。2. 技能生成器损失 (L_skill)这是GRPO的创新点。我们需要将任务性能的梯度传导给技能生成器f_skill。方法一策略梯度直接传导。将f_skill视为π_hi的前端。当π_hi直接输出z_t时f_skill就是π_hi的一部分L_policy的梯度自然会更新到f_skill。方法二辅助奖励信号。设计一个与技能编码z_t相关的内在奖励r_intrinsic(z_t, s_t)并将其加入总奖励。例如可以鼓励技能编码的多样性防止模式坍塌或鼓励技能导致的状态转移具有可预测性。那么L_skill可以包含一个最大化期望内在奖励的项。方法三重构损失与一致性损失。为了确保技能编码包含有意义的信息可以增加一个重构损失要求从z_t能重构出状态或状态变化。同时增加一致性损失要求相同的z_t在相似状态下应产生相似的动作序列。一个综合的L_skill可能看起来像这样L_skill α * E[-log π_lo(a_t | s_t, z_t) * A_t] // 通过动作策略将优势信号反传至z_t β * L_diversity(z_t) // 多样性约束 γ * L_recon(s_t, s_{t1} | z_t) // 重构损失其中第一项是核心它利用了π_lo作为桥梁将动作层面的优势A_t的梯度通过重参数化技巧传递到z_t进而更新f_skill。α, β, γ是超参数。3. 底层策略损失 (L_low)用于训练技能解码器π_lo。其目标是让π_lo能准确地将z_t解码为执行该技能所需的动作。损失函数通常是最小化动作的负对数似然在给定z_t和s_t下真实动作a_t的概率。L_low E[-log π_lo(a_t | s_t, z_t)]总损失L_total L_policy λ1 * L_skill λ2 * L_low需要仔细调整λ1和λ2的权重。4.3 训练流程与迭代训练通常采用交替迭代或联合优化的方式收集轨迹智能体在环境中交互用当前的f_skill,π_hi,π_lo采样得到轨迹数据τ (s, z, a, r, ...)。计算优势使用GAE等方法计算每个时间步技能编码z_t的优势值A_t。更新网络用L_policy更新高层策略π_hi。用L_skill更新技能生成器f_skill。这里特别注意在计算L_skill中涉及A_t的项时需要阻止梯度流向π_hi如果π_hi和f_skill是分开的避免优化冲突。在PyTorch中可以使用.detach()方法。用L_low更新底层策略π_lo。重复清空缓冲区用更新后的网络继续收集轨迹重复上述过程。4.4 关键超参数与调优经验技能编码维度 (dim_z)这是最重要的参数之一。我的经验是从一个较小的维度开始如4-16如果发现智能体表现瓶颈再逐步增加。维度太高会导致训练不稳定和技能难以解释。高层策略决策频率 (K)即一个技能持续执行多少个底层时间步。K太小如1技能就退化为单步动作失去抽象意义K太大策略灵活性下降。需要根据任务的时间尺度来调整。通常可以先设为10-50步进行试验。损失权重 (λ1, λ2, α, β, γ)这是调参的难点。建议初期让L_policy占主导即λ1,λ2较小确保智能体先能学到一些获得奖励的基本行为。中期逐步增大λ1技能损失权重鼓励技能的形成和分化。β多样性权重不宜过大否则会干扰任务学习。γ重构损失权重可以帮助稳定技能学习但同样不能太大。内在奖励设计如果使用内在奖励务必使其与外在奖励在量级上匹配。通常需要对内在奖励进行归一化或缩放。5. 与VERL框架的集成与微调配置VERLVariational Empowerment for Reinforcement Learning是另一个专注于技能发现和 empowerment 最大化的框架。它强调智能体对环境的控制力。将ReSkill/GRPO与VERL结合可以理解为用VERL的思想来辅助或初始化技能创造过程然后用GRPO进行策略微调。5.1 集成思路一种常见的实践是“预训练-微调”范式VERL预训练阶段目标在不考虑具体任务奖励的情况下让智能体通过最大化 empowerment互信息I(s_{tK}; z_t | s_t)来学习一套通用的、能引起环境显著状态变化的技能。过程使用VERL的变分下界来训练技能编码器f_skill和技能解码器π_lo。此时没有高层策略π_hi或者π_hi是一个简单的均匀分布随机选择技能。结果得到一组“基础技能”这些技能能有效地探索和影响环境。GRPO微调阶段目标在预训练的技能基础上引入具体的任务奖励用GRPO框架训练高层策略π_hi来组合这些技能并同时微调f_skill和π_lo使技能更适合当前任务。过程加载预训练的f_skill和π_lo权重。初始化一个新的π_hi。然后按照第4部分的GRPO流程进行训练。此时由于技能已经有了较好的基础策略优化会更快收敛并且学到的技能组合会更精炼。5.2 微调配置要点当在VERL预训练模型上配置GRPO微调时需要注意以下几点技能编码器的学习率预训练好的f_skill在微调阶段应该使用一个较小的学习率甚至在前几个阶段可以冻结其参数。这是因为我们不想破坏已经学到的通用技能表示只想让它根据任务奖励进行小幅调整。可以设置一个衰减计划随着训练进行逐步解冻或增大其学习率。高层策略的初始化π_hi是从头开始学习的。可以将其输出初始化为接近均匀分布鼓励它在一开始探索所有预训练技能。缓冲区启动微调初期由于π_hi是随机的收集到的轨迹质量可能很差。可以考虑用预训练阶段的探索策略随机技能选择先收集一部分轨迹填充缓冲区再进行训练避免初期不稳定。内在奖励的衰减如果VERL预训练阶段依赖了 empowerment 内在奖励在GRPO微调阶段应该逐渐减小或移除这个内在奖励的权重让智能体的注意力完全集中到任务奖励上。一个简化的配置代码片段可能如下所示伪代码# 加载VERL预训练的模型 skill_encoder load_pretrained(verl_skill_encoder.pth) skill_decoder load_pretrained(verl_skill_decoder.pth) # 初始化高层策略 high_level_policy HighLevelPolicy(input_dimstate_dim, skill_dimskill_dim) # 优化器配置技能相关网络使用更小的学习率 optimizer_skill torch.optim.Adam([ {params: skill_encoder.parameters(), lr: 1e-5}, {params: skill_decoder.parameters(), lr: 1e-5} ]) optimizer_high torch.optim.Adam(high_level_policy.parameters(), lr3e-4) # 训练循环中 for epoch in range(num_epochs): # 收集轨迹... # 计算优势... # 更新高层策略 (大学习率) loss_policy compute_policy_loss(...) optimizer_high.zero_grad() loss_policy.backward() optimizer_high.step() # 更新技能网络 (小学习率) loss_skill compute_skill_loss(...) # 包含来自GRPO的梯度 optimizer_skill.zero_grad() loss_skill.backward() optimizer_skill.step() # 可选随着训练进行增加技能网络的学习率 if epoch warmup_epochs: adjust_learning_rate(optimizer_skill, new_lr1e-4)6. 实验调试与常见问题排查在实际实现和训练ReSkillGRPO时会遇到不少挑战。下面是我在实验中遇到的一些典型问题及排查思路。6.1 技能模式坍塌现象智能体始终只使用极少数甚至一个技能编码无论状态如何变化。技能多样性损失降为零但任务性能停滞。原因技能编码维度dim_z过大网络难以训练。多样性损失权重β太小或被其他损失淹没。技能解码器π_lo能力过强即使不同的z_t也能产生相似的动作导致技能部失去分化动力。排查与解决可视化技能编码使用t-SNE或PCA将采集到的技能编码z_t降维可视化。如果所有点都聚在一起就是模式坍塌。检查梯度查看L_skill中多样性损失项的梯度是否正常回传。调整超参数增大β减小dim_z在L_skill中引入基于批次的技能编码距离最大化损失。限制解码器能力适当减小π_lo网络的宽度或深度迫使它依赖不同的z_t来产生不同的动作。6.2 策略性能震荡或不收敛现象训练曲线剧烈波动长期无法稳定提升。原因技能部和策略部的学习率不匹配一方变化太快导致另一方无法适应。优势估计A_t不准确尤其是当技能执行时间步K较长时credit assignment 困难。损失函数权重λ1,λ2设置不当多个优化目标相互冲突。排查与解决学习率热身与衰减对技能网络使用更保守的学习率调度策略。优化优势估计尝试使用更长的轨迹来估计优势增大GAE的λ参数或者使用基于技能的advantage estimation将一段技能执行期内的奖励累积起来再计算优势。消融实验分别设置λ10和λ20观察是哪个部分导致了不稳定。然后从较小的权重开始逐步增加。监控损失分量在训练中分别记录L_policy、L_skill、L_low的值观察它们的量级和变化趋势确保没有一项突然爆炸或归零。6.3 技能与动作脱节现象技能编码z_t看起来有变化可视化显示分散但实际执行的动作序列没有明显区别任务性能没有因技能学习而提升。原因技能解码器π_lo没有训练好无法将不同的z_t映射到不同的动作分布。技能编码z_t没有包含足够的信息来指导动作或者其信息被状态信息淹没了。高层策略π_hi没有学会有意义地选择技能可能总是在选择相似的技能。排查与解决检查解码器输出固定几个不同的z_t在相同状态s_t下观察π_lo输出的动作分布均值是否显著不同。增强技能编码的影响在π_lo的网络结构中确保z_t在早期层就与状态s_t拼接或相加并且有足够的通道数来传递信息。分析高层策略统计π_hi输出的技能编码分布熵。如果熵一直很低说明它没有充分探索技能空间。可以尝试在π_hi的损失中加入熵正则项鼓励探索。6.4 训练效率低下现象相比端到端的PPOReSkillGRPO训练速度慢很多样本效率低。原因这是引入分层和技能学习的固有代价。需要学习更多的网络参数并且credit assignment更困难。优化方向课程学习从简单任务开始训练逐步增加难度让智能体先建立基础技能。技能复用在智能体掌握一些技能后可以在新任务上固定技能网络只训练高层策略实现快速迁移。离线预训练正如与VERL结合那样利用无监督或自监督方法在大量无奖励数据上预训练技能大幅提升微调阶段的样本效率。实现ReSkill这样的框架是对耐心和调参技巧的考验。它不像调一个PPO那样有相对固定的套路需要根据具体任务和环境特性反复调整架构和超参数。但一旦调通智能体所展现出的结构化学习能力和潜在的可迁移性往往比黑盒的端到端方法更有吸引力也更能让我们理解智能体是如何构建其“知识”和“能力”的。