先讲个背景。前阵子在开源社区刷到一个微小型双足鸭形机器人系统机械结构不算复杂核心亮点是强化学习驱动——不是手写步态而是靠深度强化学习算法自己训出一套行走策略。项目把整条开源架构都摊开了3D打印图纸、嵌入式固件、仿真模型、训练脚本、部署节点从零到一完整闭环。我花了一周时间把它从头到尾复现了一遍中间踩了不少坑也把很多设计细节搞明白了。这篇文章就把这套机器人系统做一个深度解析为什么双足用强化学习更靠谱、开源架构各层怎么选型、状态空间和奖励函数怎么设计、仿真到真机迁移有哪些坑以及常见训练故障怎么排查。适合两类人看一类是有ROS和嵌入式基础、想上手强化学习实体项目的工程师另一类是会跑PPO/SAC但没怎么碰过真实硬件的算法同学。下面直接进正题。1. 项目定位微小型双足鸭形机器人为什么值得做1.1 从“能走”到“会走”强化学习的核心价值双足步行这个话题放在大型人形机器人上已经够难了放到一个几百克、3D打印壳体的微型机器人身上难度不减反增。机械加工精度有限、舵机响应延迟明显、传感器噪声占比大——这些问题让传统基于模型的控制方法很尴尬。你辛辛苦苦建一个倒立摆模型算好ZMP轨迹真机上一个舵机零点偏了1度整套参数就全废了。强化学习在这里的逻辑完全不一样。它不手工设计每一步的姿态轨迹而是给定一个目标“往前走、别摔倒”让策略网络在大量试错中自己摸索关节角度和力输出的时序配合。微型双足这个场景特别适合这种端到端方式因为它不要求精确的运动学或动力学模型只要状态采集和奖励信号给得合理网络就能自己把步态“长”出来。我见过不少朋友上来就问“这鸭子是拿什么控制算法跑的”潜台词是找一个现成的步态库或者插值轨迹。但把这类开源项目拆开看会发现控制协议只是辅助核心资产是训练出来的神经网络权重。真正困难的不是写那个控制循环而是设计出一套在仿真里能收敛、在真机上能跑的策略生成流程。“会走”的定义也要说清楚。不是仿真里能走两千步就叫会走而是它能在桌面、地毯、轻微斜坡、手推干扰下都保持前向行进。手写步态想覆盖全场景变化几乎不可能但强化学习策略是在随机扰动中训练出来的天然对地面材质变化、外力干扰有更强的鲁棒性。这也是这个项目最值得借鉴的地方用数据驱动替代手工调参把泛化能力直接训练到参数里。1.2 开源架构的构成与选型逻辑整套开源架构可以拆成四层机械硬件层、嵌入式控制层、仿真训练层、部署运行层。机械硬件层包含所有3D打印模型、BOM清单和装配说明。鸭形外壳不全是卖萌——它整体重心低、腹部浑圆配合宽大的蹼足既降低跌倒时的损坏概率也把电池、IMU这些配重件的位置固定得很合理。嵌入式控制层一般用STM32或ESP32这类低成本MCU通过串口或CAN总线跟舵机驱动板通信跑一个低延迟的关节位置闭环。这个层只干一件事把上层送来的目标关节角度变成PWM信号以尽量低的时延驱动舵机到位。复杂的决策不在这一层。仿真训练层是核心在Gazebo或MuJoCo里搭好URDF模型用PPO这类深度强化学习算法在虚拟环境里训练步态。Gazebo强在跟ROS生态无缝集成可以直接吃URDF、发布仿真IMU和关节状态适合习惯ROS工作流的工程师。部署运行层则是把训练好的模型导出为ONNX或TorchScript挂到ROS节点上运行。节点订阅IMU和关节反馈实时推理出下一帧的目标关节角度再通过串口下发给MCU执行。选型逻辑上我想强调一点开源不是终点可复现才是。这个项目胜在分层清晰每一层都有独立测试入口硬件层可以单独测舵机仿真层可以单独跑demo部署层也做了模型输入输出的校验脚本。出问题时能快速定位是某一层坏了而不是整条链路黑盒。如果你是第一次接触这类项目建议从仿真训练层入手。先在仿真里让虚拟鸭子走起来再去买舵机焊电路。硬件调试的挫败感远高于软件调试但软件调试学到的原理能帮你在硬件上少烧很多冤枉钱。2. 硬件设计与仿真建模让机器人“活”起来2.1 机械结构设计要点微型双足鸭形机器人的机械部分关键原则是“够用就好但别省掉该有的自由度”。每条腿至少三个自由度髋关节负责抬腿和侧摆膝关节负责折叠踝关节负责脚掌落地姿态的微调。六自由度加在一起状态空间已经相当可观如果连杆长度再设计得不合理训练难度会直线上升。舵机选型是第一个坑。SG90轻但扭矩小、塑料齿轮容易扫齿MG996R扭矩大但重量和体积撑不起“微型”两个字我实际用下来MG90S金属齿轮版本是平衡点单只重量9g左右堵转扭矩1.8kg·cm足够撑起整个鸭身响应速度也够用。买回来一定要先做一致性测试——同一型号的不同个体在零位和极限角度上的偏差挺大这在仿真里不存在在真机上非常致命。3D打印方面外壳用PLA够了受力结构用PETG更耐冲击。关键连接处不要直接打印螺纹容易滑丝我习惯预埋热熔铜螺母。还有一个细节值得单独说重心规划。鸭子外观看起来是头部偏重但实际行走控制上质量中心应该尽量落在两足支撑多边形的中央偏后位置这样抬前脚时整个身体不容易前栽。我的做法是在鸭嘴壳体内侧预留电池仓用电池前后位置来配平重心。装配完成后把每根连杆的质量、长度、质心位置记录下来。给仿真模型做标定时这些数据比舵机型号还重要。我自己吃过亏仿真里参数全用默认URDF值结果真机站起来左右摇摆幅度比仿真大两倍。后来才查明白我在鸭头上加了眼睛装饰重心前移了8mm仿真模型完全没反映这一点。2.2 仿真环境搭建Gazebo与URDF的细节仿真建模是强化学习流程的第一道闸门。URDF文件里的每个link不仅要写质量还得写准确的惯性张量。很多新手图省事把inertia设成默认值结果Gazebo里模型像果冻一样抖个不停训练出来的策略自然一塌糊涂。我建议用Fusion 360或SolidWorks导出真实模型的惯性参数再填进URDF。实在没有CAD文件就用官方几何近似但一定要在仿真里做一次自由落体和推倒测试观察物理表现是否符合直觉。摩擦系数也要实测脚掌是橡胶底还是PLA光面参数差异很大。我通常先设mu0.8、mu20.6再通过领域随机化让训练过程自己吸收误差。Gazebo的控制器频率要特别注意。双足步态对控制延迟极其敏感我一般把仿真更新率设在500Hz以上控制回路至少100Hz。CPU扛不住就降低模型网格数但不要降控制频率——低频控制会让策略学出一堆高频振荡的补偿动作真机上根本执行不了。URDF里还有个容易被忽略的东西Gazebo标签里的kp和kd参数它们模拟关节电机的刚度和阻尼。数值太大会僵硬太小会软绵绵。保守做法是kp50、kd2.0起步然后逐步调增直到鸭子能站立不发抖。如果你不想从零搭环境可以直接复用项目仓库里的Gazebo仿真包模型、world、launch文件都现成。但强烈建议自己改一遍惯性和摩擦参数否则复现出的项目大概率只能在仿真里走上不了真机。这不是玄学仿真模型的精确程度直接决定了仿真到真机的迁移缺口。2.3 状态空间与动作空间设计强化学习训练出来的神经网络输入什么、输出什么直接决定了问题的最简化边界。我最终把状态空间定为四部分当前各关节角度、各关节角速度、IMU测出的roll/pitch/yaw角速度和三轴加速度以及上一时刻的动作向量。目标指令比如前进速度也作为输入的一部分总计约22维。这里有个原则不要一步到位堆维度。维度越高需要的探索样本越多。先做特征精简把能帮助网络判断“我现在处于什么姿态、刚才做了什么”的最小集合找出来。动作空间设计有两种主流思路位置模式和力矩模式。位置模式是策略输出目标关节角度内部PID去跟踪力矩模式直接输出关节力矩。对微型舵机来说位置模式稳得多——舵机自带减速齿轮和位置闭环响应特性相当一致。所以我的做法是策略网络输出归一化到[-1,1]的关节角度增量再映射成舵机目标角度。归一化这个细节不要省。我用Gymnasium的Box(low-1, high1)定义动作空间让初始化策略的输出分布居中在0附近这样早期探索动作不会一上来就把机器人甩成陀螺。动作空间加平滑性约束比如把相邻帧动作差值写进观察能明显减少真机舵机抖动。3. 强化学习算法选型与实现细节3.1 深度强化学习算法选型PPO、SAC与TD3的取舍有了环境和状态动作定义下一步是选算法。我实际跑了PPO、SAC和TD3三种主流深度强化学习算法最后长期用的是PPO。PPO是on-policy算法clip机制会限制每次策略更新的幅度训练曲线非常平稳。对双足机器人这种“步态崩一次就全崩”的任务稳定性比样本效率更重要。你训练一晚上起来看到的是稳步上升的reward曲线而不是SAC常见的“突进—崩溃—突进—崩溃”。SAC样本效率高但对温度系数、双Q网络、目标网络软更新率这些超参非常敏感调参周期能把人耗死。TD3适合确定性策略但初期探索容易陷入“始终不动”的局部最优对奖励函数设计极其苛刻。用PPO做双足任务我给出一个基础经验参数表可以作为调参起点超参数推荐值说明batch size2048样本量不足时策略更新噪声大mini-batch64影响每次梯度更新的稳定性GAE lambda0.95平衡偏差与方差学习率3e-4收敛后降到3e-5做微调clip range0.2策略更新幅度上限训练步数1000万起具体取决于奖励函数质量顺带提醒一句做算法对比时一定要保证环境配置、随机种子、评价指标完全一致否则得出的结论只是个人偏好不能指导工程决策。很多人把对比表做得很专业实际训练环境却三天两头换这是最影响判断的事情。3.2 因果强化学习CRL机制的应用思路最近社区里高频讨论因果强化学习CRL核心机制是把因果推断工具嵌入强化学习流程具体能力包括因果发现、干预训练和反事实推理。这三个能力在双足机器人项目里都有实际应用场景不是纯理论。因果发现阶段算法从历史轨迹数据里学因果图判断哪些观测变量真正影响“是否跌倒”。我Debug时发现策略学到一种退化行为把所有关节锁死靠倒地不惩罚混过episode。单看相关性关节角度和reward高度相关但从因果机制看决定存活时长的是“脚掌是否还在支撑多边形内”而不是“舵机温度是否升高”。把因果图引进来之后我针对真正的原因项加大惩罚权重比继续堆所有指标的奖励有效得多。干预训练本质上是对状态做do运算在仿真里强行改变某个变量观察策略实际反应。比如把左膝角度直接钳制在0度模型如果还能维持步态说明左膝的贡献被低估了需要调整状态权重。这比单纯看特征重要性更可靠因为特征重要性测的是统计相关因果干预才是决策的因果基础。反事实推理则适用于故障分析真机走几步摔倒后可以问“假如刚才第三步的roll值没有飘到0.3rad这次摔倒还会发生吗”这个问题很难直接回答但CRL能基于已学环境模型做反事实采样。我虽然没有在完整训练管线里完全引入独立因果模块但在消融实验和故障追溯上CRL帮了大忙状态空间从40多维精简到22维训练收敛时间缩短了约三成。这里可以插入一个生活化类比冰淇淋销量和溺水率高度相关但真正原因是天气热。你盯着相关性去调整冰淇淋店营业时间并不能降低溺水率。因果推断要找到那个“天气热”的中介变量在机器人身上就是要找到真正让步态崩溃的根因。3.3 奖励函数设计从走到稳的分阶段策略奖励函数是强化学习项目里的灵魂。双足步行任务我的设计方法是分三个阶段先走起来再站稳最后省能量。第一阶段“走起来”核心是两个项前向速度跟踪奖励和平滑惩罚。速度跟踪奖励用高斯型r_v exp(-(v_target - v_x)^2 / 0.25)。把方差系数适当调大让机器人稍微偏离目标速度也不会立刻得到极低奖励早期训练更容易学会前进。平滑惩罚用相邻动作差的平方和r_smooth -0.05 * ||a_t - a_{t-1}||^2防止策略输出剧烈抖动的动作指令。第二阶段“站稳”加入姿态稳定项r_pose exp(-(roll^2 pitch^2) / 0.1)。分母不能太小否则任何姿态偏差都会让奖励暴跌策略会走向“为了不摔倒干脆不前进”的死路。跌倒处理同样重要我不给巨额负数而是终止episode并返回一个较大的负奖励。终止信号优先级高于一切策略能快速学到哪些动作会导致致命状态。第三阶段“省能量”在训练收敛后做fine-tune时再加能耗惩罚r_energy -lambda * sum(|torque_i * velocity_i|)。lambda初始设为1e-4跑出的策略每步功耗比纯速度训练低约20%代价是速度略微变慢。我的原则是“一次只加一项”每项先单独调好量纲再加入总奖励——多个奖励项会发生耦合一起调很容易失控。奖励项的量纲一致性太重要了。速度项、姿态项、平滑项如果量纲差距过大大的项会淹没小的项你直觉上加了姿态奖励实际上策略毫无响应。我习惯把所有奖励项都设计成取值0到1之间的高斯形再乘以各自权重这样每项变化幅度可控权重调节也更直观。奖励函数各项汇总可以参照这个表奖励项表达式权重建议阶段速度跟踪exp(-(v_target-v_x)^2/0.25)1.0第一阶段平滑惩罚-0.05*|a_t-a_{t-1}|^20.05全程姿态稳定exp(-(roll²pitch²)/0.1)0.5第二阶段能耗惩罚-1e-4*sum(|τ_i·ω_i|)1e-4第三阶段跌倒终止终止episode负奖励-5.0全程3.4 离线强化学习IQL与基于模型方法的扩展项目跑通PPO之后我尝试了离线强化学习主要用它来降低真机调试风险。核心思路是把之前的仿真日志、真机运行数据收集起来做成固定数据集用IQLImplicit Q-Learning从数据里学到价值函数不再需要实时与环境交互。IQL的实际效果在新任务上不算惊艳但在数据覆盖足够全的旧任务上它训练出的策略与在线PPO差距在10%以内。我现在把真机调试时采集的优质轨迹都存下来形成经验库。以后遇到类似的步态调整需求先用IQL从库里离线出一个候选策略在仿真里验证比每次从头在线训练省太多时间。IQL最吸引人的地方是训练过程不会在真实机器人上试错对硬件零风险。它通过最大熵约束学习价值函数不需要对数据分布做显式模仿所以对数据质量有一定宽容度。缺点是数据覆盖不足时容易过估计离线评估指标和在线表现可能差距较大需要谨慎加正则化。基于模型强化学习MBRL是另一个扩展方向先学一个环境动力学模型再用这个模型做规划或虚拟Rollout。双足系统动力学本身复杂微型舵机还有迟滞、饱和等非线性学模型难度不低。但MBRL能大幅减少真实交互次数和IQL组合时可以用离线数据学模型再用模型生成虚拟样本辅助策略优化形成“离线数据虚拟模型”的混合管线。有条件的朋友值得一试。LAG这类前瞻引导机制对长时延场景很有价值。微型舵机从接收指令到动作到位延迟可能高达50到100毫秒仿真里几乎忽略真机上会让策略慢半拍。LAG的核心思路是先预估未来状态再基于未来状态施加引导信号减轻延迟造成的步态振荡。我在真机部署时采用了一个简化方案在策略网络前加了一个固定步数的状态预测器用“提前量”补偿延迟实测真机跌倒率下降了15%左右。4. 训练流程与sim2real迁移4.1 从零开始的完整训练管线一个能跑通的完整训练管线我拆成六个环节搭建Gazebo仿真确认机器人模型能稳定站立。写训练环境用Gymnasium封装Gazebo接口定义状态、动作、奖励、终止条件、reset逻辑。设计训练脚本用Stable-Baselines3或RLlib作为算法底座。SB3上手快RLlib支持大规模并行和异步训练。我先用SB3跑通小规模验证再切RLlib上多worker并行。训练过程中定期评估每轮训练跑一次确定性策略评估统计“平均行走距离”“平均跌倒次数”这类物理指标不只盯reward曲线。训练结束导出模型使用TorchScript trace或者ONNX导出。部署写一个ROS节点加载模型订阅IMU和关节反馈实时推理关节目标角度发布给下位机。这里最容易被低估的是评估环节。Reward曲线只能告诉你数值是不是在上升真正关心的问题是“鸭子是否在前向移动”。我发现训练早期reward上升并不代表走得远它也可能是学会了小幅摇摆但原地罚站。所以我在评估里加了“前向位移累计”这一物理指标每轮打印用这个方法筛出来的模型在真机上普遍表现更好。训练步数上双足鸭形任务没有想象中那么耗时。Gazebo单进程训练大约需要1000万步才能看到像样的步态开8个并行worker后大概两到三小时就能跑出可用模型。当然这跟奖励函数质量强相关——我一开始奖励设计不合理跑满5000万步还是原地踏步后来加了对方向偏差的惩罚20分钟就看到了明显改善。4.2 仿真到真机迁移领域随机化与系统标定仿真到真机是整个项目最核心的一步很多人最后栽在这里。我的迁移第一招是领域随机化给仿真环境加四类变化随机化类型参数范围目的物理参数摩擦系数0.3~1.2质量±15%覆盖地面材质和加工公差差异传感器噪声IMU加高斯噪声、随机偏置模拟真实传感器漂移动作延迟关节响应延迟0~100ms均匀采样模拟舵机响应滞后初始状态位置和姿态小幅度扰动增强策略适应性这四类随机化让策略学会在“不精确”的环境里生存。迁移到真机时这些扰动正好覆盖了模型误差和制造公差。系统标定同样不能跳过舵机零位要逐一记录实际角度与指令角度的偏移写进补偿表IMU要静置在水平桌面上记录漂移和偏差常数部署前减掉。这两项标定直接影响策略网络的输入质量。我个人的迁移习惯是“先验证再全量跑”不直接把训练好的策略加载到鸭子身上先在仿真里加入额外状态白噪声做压力测试只有通过测试的模型才允许上真机。真机第一跑务必用悬吊架或绳索做保险万一策略崩了机器人不会直接摔烂。真机调试的一大变量是供电电压。舵机瞬时大电流时会拉低主控电压导致IMU数据突跳。这个问题仿真里完全没有真机上很常见。解决方式主控和舵机分开供电至少用大电容组做好蓄流缓冲同时在推理循环里加一层轻量卡尔曼滤波只把滤波后的姿态送入网络。4.3 真机部署后的观测与迭代模型上真机跑起来只是第一步最重要的习惯是记录数据。每个episode的关节指令、IMU反馈、舵机电流、是否跌落的标志都要落盘。刚开始我靠肉眼给策略打分结果不同时刻、不同地面条件下很难保持标准一致。后来把所有真机数据存成和仿真相同格式的字典直接用训练代码里的评估回调离线打分这样就能在同一套指标下对比仿真和真机表现。部署后的迭代路径我推荐“差距分析三步法”。第一步统计仿真和真机的reward差在哪里找差距最大的单项指标。比如姿态项差距大说明真机IMU噪声比仿真大速度项差距大说明舵机响应延迟没被充分模拟。第二步针对差距项补随机化或标定。第三步用离线经验库加IQL重新训练一个修正策略再逐步上线。这套循环每轮大概一个多小时能非常高效地拉近仿真与真机的距离。一个特别值得强调的观点仿真到真机不是一锤子买卖而是持续过程。硬件磨损、电池电压变化、地面材质不同策略都需要微调。整个项目一开始就应该把“重新训练”的成本降下来——环境脚本化、日志结构化、超参版本化这三点做到后续迭代维护会轻松很多。5. 常见问题与排查技巧实录5.1 训练不收敛先查奖励函数量纲与中止条件训练500万步reward还在原地波动我的排查顺序是先确认奖励函数胜利条件是否可达成再验证单步动作幅度是否足够大最后检查终止条件是否被无意中频繁触发。一个典型问题是“静止不动”策略网络探索几次后发现站着不动虽然拿不到速度奖励但也不会触发跌倒终止于是逐渐收敛到这种策略。解决办法分两步一是把速度奖励下限抬高让“微动”也能获得正奖励二是在episode里设定最大步数超时强制结束并给负分逼着策略必须行动。这个坑我在多个项目里都踩过每次加终止条件时都要想清楚这个条件会不会无意中鼓励了“不作为”。排查顺序可以整理成速查表现象优先级检查项Reward长期不变高奖励是否过于稀疏增加辅助奖励Reward上升但实际不走高检查前进位移指标加方向偏差惩罚策略早期就崩溃中降低学习率检查动作范围归一化出现NaN高状态接口加有限性检查过滤后重置episode5.2 训练发散归一化与正则化的双重保险训练中期reward曲线突然断崖式下跌通常发生在策略已经学会走路但更新步过长导致“策略震荡”。PPO虽然用clip限制更新幅度但reward scale波动很猛时仍有风险。我的保险做法是把所有观测项用running mean和std归一化到零均值单位方差这步能显著提高训练稳定性。如果用的是RNN策略记得加梯度裁剪用MLP时可以加一点权值衰减防止数值爆炸。另外注意检查环境里是否出现NaN。Gazebo在某些接触条件下会产生无穷力导致状态变成NaN。如果没在接口层过滤训练器会把NaN传给策略然后所有梯度都变NaN整次训练白跑。我的做法是在状态读取时加sanity check发现任何一个数不是有限浮点数立即重置episode并记录日志。5.3 真机抖动控制器频率与滤波真机跑起来时鸭子高频抖动多半是三类原因。第一策略推理频率不足只跑30Hz的话舵机每33ms才收到新指令步态控制本身就是断续的。解决方式把推理频率提到100Hz以上同一NN模型在树莓派上跑100Hz完全可行。第二传感器噪声被策略放大了解决方式是给IMU加简单滑动平均窗口或低通滤波。但这里有矛盾——滤波增加延迟又会抵消推理频率提升的效果所以滤波窗口不建议超过3帧。第三策略网络在训练时输出范围太宽动作增量过大。在部署代码里把动作输出乘以一个0.8的比例系数通常能立刻缓解抖动。这个“缩动作幅度”的技巧在仿真里没必要真机上却有奇效。5.4 多机器人场景路径规划与策略共享如果手里不只有一只鸭子而是要做鸭子编队或借鉴多AGV路径规划逻辑这里有几条经验可以直接用。多台微小型双足机器人协同第一优先级是把全局路径规划从策略网络里剥离开放在高层规划器里。让强化学习策略只负责“稳定跟随目标速度/航向角”这类低层控制高层用A*或Dijkstra做全局路线规划。这样每台机器人的观测空间不用包含全局地图训练简单很多。多机协同的奖励函数可以加一个避障软约束与其他机器人距离小于安全阈值就给惩罚项。但最好先单机训练完成基础运动技能再加多机场景微调——联合训练的状态空间爆炸会让收敛难度翻倍。多AGV路径规划里常用的共享经验策略在双足编队里同样适用各机器人独立感知、共享策略参数中央节点只负责全局调度和冲突消解不参与每个机器人内部的关节控制。5.5 异步训练与资源调度实践最后说异步训练。单个双足机器人在Gazebo里一秒只能采集几百帧数据训练到能看步态需要几小时。解法是异步并行开多个Gazebo实例同时采样不同随机种子、不同随机物理参数把经验样本汇入共享回放池或传给learner。A3C、IMPALA都属于这类架构。我自己的实操是用RLlib搭了一套异步训练流程8个worker在8个CPU核上跑Gazebo一个learner在GPU上训练数据通过Ray的object store传输。这套方案跑下来吞吐量是单进程的5倍以上。注意每个worker必须设置不同随机种子否则多机并行等同于同一环境的复制反而造成相关性误差。资源调度方面建议先统计单个Gazebo实例的CPU占用率和内存峰值按核数分配worker数。Gazebo是多线程物理引擎在超线程环境下跑反而可能变慢我用taskset把每个worker固定到两个物理核心上实测稳定性提升很明显。6. 写在最后的实操体会这套微小型双足鸭形机器人项目对我最大的收获不是学会了PPO或跑通了Gazebo而是建立起了一条完整的“设计—仿真—训练—部署—迭代”闭环思维。以前写控制代码总在追求数学公式的优雅现在发现在物理硬件上真正有价值的往往是那些不那么优雅但足够稳定的工程处理——领域随机化、动作平滑、传感器滤波、实验记录每一样单独看都平平无奇组合起来就是仿真到真机能走通的关键。最后分享一个踩过很多次才明白的技巧训练阶段一定要定期打快照不只是保存模型权重还要保存训练配置、环境参数、随机种子和reward曲线日志。强化学习实验里最容易被偷走的就是复现性。你在某天凌晨三点调出一组很漂亮的参数如果不做版本记录第二天醒来很可能已经想不起来改了什么。我现在所有实验都建了一个类似experiments/20250115_duck_walk_v3的目录里面放config.yaml、reward记录、视频片段、真机日志。这套习惯让后续每次迭代都有据可查也让朋友复现项目时能少走一大半弯路。如果你正准备照着开源方案做一个自己的微型机器人我的建议是不要跳过仿真验证直接上真机也不要迷信某一种强化学习算法。动手之前先把URDF里的惯性参数和摩擦系数调准动手之后每跑通一个环节就记录一次日志。项目本身不难难的是让整条链路每一步都可解释、可复现、可迭代。能做到这些你手里的鸭子就不只是会走而是能在各种意外状况下都稳稳地走下去。