尧图网页设计 
简介这份资源面向计算机、人工智能及游戏开发方向的在校学生与自学者提供一套基于Unity ML-Agents release_15开发的自行车机器人智能躲避同伴的完整工程可用于毕业设计、课程设计、大作业、工程实训及学科竞赛等场景帮助解决强化学习仿真环境搭建与智能体行为训练的实际问题。压缩包共564个文件约34.08MB包含C#脚本、Unity场景与预制体、ONNX与PT模型文件、TensorBoard训练日志、材质贴图及说明文档等覆盖从环境配置到模型训练与推理的完整链路。目前已有43人学习关注。资源内代码经过测试运行功能正常可复现复刻读者既能直接借鉴其设计报告与目录结构也能在此基础上修改扩展出新的智能体行为或训练任务适合具备一定Unity与机器学习基础的学习者参考练手。1. 自行车机器人躲避同伴这套 Unity ML-Agents release_15 工程到底能跑出什么如果你正在做强化学习方向的毕设或课设大概率遇到过这种尴尬算法论文看了一堆PPO、SAC 的公式也能推但真要自己从零搭一个能训练、能观察、能复现的实验环境光是 Unity 场景配置和 Python 通信就能卡掉一周。这套基于 Unity ML-Agents release_15 的自行车机器人躲避同伴工程解决的正是这个断层——它把「多智能体避障」这个经典问题做成了一个开箱可训的完整闭环Unity 端负责物理仿真和视觉观测Python 端负责策略网络训练你拿到手就能跑mlagents-learn看曲线。它适合三类人一是毕设需要「有训练曲线、有演示效果」的本科生二是想快速验证多智能体协作/竞争策略的研究生三是想入门 Unity 强化学习但不想被环境配置劝退的工程师。核心机制不复杂——自行车机器人作为 Agent通过射线感知和向量观测判断同伴位置用 PPO 训练出一套「既不撞同伴又能保持移动」的策略。release_15 这个版本号很关键它对应 ML-Agents 较成熟的 API 体系Behavior Parameters、Decision Requester、Academy这些组件的用法和后续版本有差异网上很多教程混着讲照着抄容易翻车。2. 拆开工程看结构场景、Agent 脚本与训练配置怎么对上2.1 工程目录里哪些文件真正决定训练结果拿到压缩包解压后先别急着打开 Unity 就点运行。我一般会先花五分钟把目录扫一遍因为 ML-Agents 工程的坑往往不在代码逻辑而在「哪个文件该放哪」。典型结构如下路径作用是否可改Assets/Scenes/训练场景与推理场景可改但改完要重新绑定 AgentAssets/Scripts/Agent/自行车机器人的观测、动作、奖励逻辑核心重点看Assets/Scripts/Manager/场景初始化、同伴生成可改生成数量Assets/ML-Agents/release_15 的运行时库不建议动config/bike_avoid.yamlPPO 超参与网络结构训练前必调results/训练输出TensorBoard 日志、模型自动生成这里有个血泪经验很多人解压后直接打开 Unity发现报「ML-Agents package not found」原因是 release_15 的包需要通过 Package Manager 或直接放入Packages/manifest.json依赖。如果工程里已经带了Assets/ML-Agents/目录说明作者用的是嵌入式方式那就不要再从 Package Manager 装一遍否则会出现两套 API 打架编译报重复定义。2.2 Agent 脚本的三个核心方法观测、动作、奖励自行车机器人的智能行为全部落在 Agent 脚本里。ML-Agents 的 Agent 生命周期围绕三个方法转理解它们就理解了整个训练逻辑using Unity.MLAgents; using Unity.MLAgents.Sensors; using Unity.MLAgents.Actuators; using UnityEngine; public class BikeAgent : Agent { public Transform[] companions; // 同伴引用 public float moveSpeed 5f; private Rigidbody rb; public override void Initialize() { rb GetComponentRigidbody(); } // 收集观测自身速度 各同伴相对位置 射线命中 public override void CollectObservations(VectorSensor sensor) { sensor.AddObservation(transform.localPosition); // 3 sensor.AddObservation(rb.velocity); // 3 foreach (var c in companions) { Vector3 dir c.position - transform.position; sensor.AddObservation(dir.normalized); // 3 * N sensor.AddObservation(dir.magnitude); // 1 * N } } // 动作连续控制转向与前进 public override void OnActionReceived(ActionBuffers actions) { float steer actions.ContinuousActions[0]; float throttle actions.ContinuousActions[1]; transform.Rotate(0f, steer * 100f * Time.deltaTime, 0f); rb.AddForce(transform.forward * throttle * moveSpeed); // 奖励塑形远离同伴加分碰撞扣分 float minDist float.MaxValue; foreach (var c in companions) minDist Mathf.Min(minDist, Vector3.Distance(transform.position, c.position)); AddReward(minDist 3f ? 0.001f : -0.01f); } public override void Heuristic(in ActionBuffers actionsOut) { var ca actionsOut.ContinuousActions; ca[0] Input.GetAxis(Horizontal); ca[1] Input.GetAxis(Vertical); } private void OnCollisionEnter(Collision col) { if (col.gameObject.CompareTag(Companion)) AddReward(-1f); } }逻辑说明CollectObservations决定了网络能看到什么这里把自身位置、速度、每个同伴的方向和距离都喂进去观测维度 6 4×N。OnActionReceived把网络输出的两个连续值映射成转向和推力同时做奖励塑形——注意这里用的是「距离阈值」而非「碰撞才扣分」因为稀疏奖励在多智能体场景下极难收敛。Heuristic让你能用键盘手动测试场景是否正常训练前务必先手动跑一遍。参数说明moveSpeed控制推力系数太大容易飞出场景太小则学不会移动奖励里的0.001和-0.01是经验值如果训练曲线一直贴地先把正奖励调大一个量级试试。2.3 Behavior Parameters 与 Decision Requester 的配置对应关系场景里选中自行车机器人Inspector 面板上的Behavior Parameters必须和 yaml 配置对齐否则训练直接报维度错误Vector Observation→ Space Size 填6 4×同伴数比如 3 个同伴就是 18Continuous Actions→ Space Size 填 2转向 推力Behavior Name→ 必须和 yaml 里的behavior_name完全一致大小写敏感Decision Requester→ Decision Period 一般设 5即每 5 个物理步决策一次设 1 会导致决策过频、训练抖动常见做法是先用Heuristic Only模式手动驾驶确认观测和动作方向没反再切回Default让模型接管。这一步能省掉后面大量「训练不收敛」的排查时间。3. 从零跑通训练环境、命令与 TensorBoard 曲线判读3.1 Python 侧环境搭建与版本对齐ML-Agents release_15 对 Python 版本有要求我一般用 3.8 或 3.9太新的 3.11 容易在torch和mlagents依赖上翻车。步骤# 建议用 conda 隔离环境避免污染系统 Python conda create -n mlagents15 python3.9 -y conda activate mlagents15 # 安装与 release_15 匹配的训练器 pip install mlagents0.30.0 pip install torch1.13.1 --index-url https://download.pytorch.org/whl/cpu # 验证安装 mlagents-learn --help逻辑说明mlagents0.30.0是与 release_15 运行时匹配度较高的训练器版本版本错配是「Unity 端能跑、Python 端连不上」的头号原因。torch用 CPU 版即可这个场景的观测维度不大GPU 加速收益有限反而省去 CUDA 版本匹配的麻烦。参数说明如果你的工程实际用的是其他 release 号先用pip show mlagents看已装版本再对照官方 release notes 调整不要盲目照抄版本号。3.2 启动训练与关键命令参数环境就绪后训练分两步先启动 Python 训练器再在 Unity 里点 Play。mlagents-learn config/bike_avoid.yaml \ --run-idbike_avoid_v1 \ --train \ --time-scale20 \ --no-graphics逻辑说明--run-id是本次训练的实验名结果存在results/bike_avoid_v1/重名会覆盖建议带版本号。--time-scale20把仿真加速 20 倍这是 ML-Agents 相比真实机器人训练的最大优势——几分钟能跑完现实中几小时的数据量。--no-graphics在服务器或无头环境用本地调试想看画面就去掉。参数说明--time-scale不是越大越好设太高会导致物理步进和决策不同步出现「机器人瞬移」的玄学现象一般 1020 比较稳。训练中途想停CtrlC 即可模型会保存在results/bike_avoid_v1/BikeAgent.onnx。3.3 TensorBoard 曲线怎么读才算「训练正常」训练启动后另开终端tensorboard --logdir results浏览器打开localhost:6006重点看三条曲线Environment/Cumulative Reward整体奖励健康状态是震荡上升后趋于平稳。如果一直平或下降先查奖励函数是否给反了。Policy/Learning Rate学习率PPO 默认会衰减如果它一直是常数说明 yaml 里learning_rate_schedule配错了。Policy/Entropy策略熵反映探索程度。它应该缓慢下降如果骤降到接近 0说明策略过早收敛到局部最优机器人可能学会「原地转圈」这种偷懒策略。我一般会等到Cumulative Reward连续几个统计窗口不再创新高再停训练导出模型。急着停往往拿到的是半成品策略。4. 避坑与排查多智能体训练里最容易翻车的五件事4.1 现象训练几万步奖励纹丝不动原因奖励函数过于稀疏或者观测里缺少关键信息。多智能体避障如果只靠「碰撞扣分」机器人要随机撞无数次才能学到东西。解决加入距离塑形奖励如 2.2 节代码所示并确认观测里包含同伴的相对方向。如果同伴数量多考虑用射线检测替代逐个向量观测降低维度。4.2 现象Unity 报「The behavior name ... does not match」原因Behavior Parameters里的 Behavior Name 和 yaml 里的behavior_name不一致或者场景里有多个 Agent 用了同一个名字但观测维度不同。解决全局搜索 yaml 里的behavior_name逐个核对场景中每个 Agent 的配置。多智能体场景里不同角色的 Agent 必须用不同的 behavior name。4.3 现象Python 端一直显示「Waiting for Unity」连不上原因端口被占用或 Unity 端没点 Play或防火墙拦截了 5004 端口。解决先确认 Unity 已进入 Play 模式再检查 5004 端口是否被其他进程占用netstat -ano | findstr 5004最后确认训练器和 Unity 在同一台机器上跨机通信需要额外配--base-port和 IP。4.4 现象机器人学会「原地抖动」而非移动原因动作空间设计不合理转向和推力的奖励权重失衡或者 Decision Period 太小导致决策抖动。解决把 Decision Period 从 1 调到 5 左右检查奖励里是否有鼓励移动的项纯避障奖励会让机器人选择「不动最安全」必要时给推力动作加一个最小阈值。4.5 现象训练好的 onnx 模型推理时行为异常原因推理场景的观测顺序和训练时不一致或者模型文件放错位置。解决把训练场景和推理场景的 Agent 脚本共用同一份CollectObservations不要复制粘贴后各改各的onnx 模型要放在Assets/ML-Agents/对应 behavior 的模型槽里并在Behavior Type选Inference Only。5. 进阶技巧用课程学习把「躲避同伴」拆成三阶段训练直接训练多智能体避障收敛慢是常态。我一般会引入课程学习Curriculum Learning把任务拆成由易到难的三阶段这也是 ML-Agents 相比自己写训练循环的一大优势——它内置了课程配置支持。在 yaml 里加一段environment_parameters: companion_count: curriculum: - name: Easy completion_criteria: measure: reward behavior: BikeAgent threshold: 0.5 min_lesson_length: 100 value: 1.0 - name: Medium completion_criteria: measure: reward behavior: BikeAgent threshold: 1.0 min_lesson_length: 100 value: 2.0 - name: Hard value: 3.0逻辑说明companion_count这个环境参数会传给 Unity 端Agent 脚本里通过Academy.Instance.EnvironmentParameters.GetWithDefault(companion_count, 1f)读取动态调整同伴生成数量。第一阶段只有 1 个同伴机器人容易学会基础避障当平均奖励超过 0.5 且持续 100 个 episode 后自动进入 2 个同伴最终阶段 3 个同伴。参数说明threshold不要设太高否则卡在某一阶段永远进不了下一阶段min_lesson_length防止偶然高奖励触发提前升级。这套机制的本质是「让策略在能力边界附近持续学习」比一上来就硬刚最难场景高效得多。验证课程是否生效看 TensorBoard 里的Environment/Episode Length——如果它随课程推进逐渐变长说明机器人在更难场景下存活更久策略确实在进步。我踩过的一个坑是课程参数改了但 Unity 端没重新读取原因是Academy的环境参数只在 episode 开始时刷新改完 yaml 要重启训练器并重新 Play。从那以后我每次调课程配置都强制先跑 500 步确认companion_count真的在变再放手让它长时间训练。这套工程的价值不在于代码多复杂而在于它把多智能体训练的完整链路——观测设计、奖励塑形、课程进阶、曲线判读——都摆在了明面上你可以逐项改、逐项验证。希望帮到你。本文还有配套的精品资源点击获取 Unity ML-Agents强化学习实战：自行车机器人多智能体避障训练全流程
简介这份资源面向计算机、人工智能及游戏开发方向的在校学生与自学者提供一套基于Unity ML-Agents release_15开发的自行车机器人智能躲避同伴的完整工程可用于毕业设计、课程设计、大作业、工程实训及学科竞赛等场景帮助解决强化学习仿真环境搭建与智能体行为训练的实际问题。压缩包共564个文件约34.08MB包含C#脚本、Unity场景与预制体、ONNX与PT模型文件、TensorBoard训练日志、材质贴图及说明文档等覆盖从环境配置到模型训练与推理的完整链路。目前已有43人学习关注。资源内代码经过测试运行功能正常可复现复刻读者既能直接借鉴其设计报告与目录结构也能在此基础上修改扩展出新的智能体行为或训练任务适合具备一定Unity与机器学习基础的学习者参考练手。1. 自行车机器人躲避同伴这套 Unity ML-Agents release_15 工程到底能跑出什么如果你正在做强化学习方向的毕设或课设大概率遇到过这种尴尬算法论文看了一堆PPO、SAC 的公式也能推但真要自己从零搭一个能训练、能观察、能复现的实验环境光是 Unity 场景配置和 Python 通信就能卡掉一周。这套基于 Unity ML-Agents release_15 的自行车机器人躲避同伴工程解决的正是这个断层——它把「多智能体避障」这个经典问题做成了一个开箱可训的完整闭环Unity 端负责物理仿真和视觉观测Python 端负责策略网络训练你拿到手就能跑mlagents-learn看曲线。它适合三类人一是毕设需要「有训练曲线、有演示效果」的本科生二是想快速验证多智能体协作/竞争策略的研究生三是想入门 Unity 强化学习但不想被环境配置劝退的工程师。核心机制不复杂——自行车机器人作为 Agent通过射线感知和向量观测判断同伴位置用 PPO 训练出一套「既不撞同伴又能保持移动」的策略。release_15 这个版本号很关键它对应 ML-Agents 较成熟的 API 体系Behavior Parameters、Decision Requester、Academy这些组件的用法和后续版本有差异网上很多教程混着讲照着抄容易翻车。2. 拆开工程看结构场景、Agent 脚本与训练配置怎么对上2.1 工程目录里哪些文件真正决定训练结果拿到压缩包解压后先别急着打开 Unity 就点运行。我一般会先花五分钟把目录扫一遍因为 ML-Agents 工程的坑往往不在代码逻辑而在「哪个文件该放哪」。典型结构如下路径作用是否可改Assets/Scenes/训练场景与推理场景可改但改完要重新绑定 AgentAssets/Scripts/Agent/自行车机器人的观测、动作、奖励逻辑核心重点看Assets/Scripts/Manager/场景初始化、同伴生成可改生成数量Assets/ML-Agents/release_15 的运行时库不建议动config/bike_avoid.yamlPPO 超参与网络结构训练前必调results/训练输出TensorBoard 日志、模型自动生成这里有个血泪经验很多人解压后直接打开 Unity发现报「ML-Agents package not found」原因是 release_15 的包需要通过 Package Manager 或直接放入Packages/manifest.json依赖。如果工程里已经带了Assets/ML-Agents/目录说明作者用的是嵌入式方式那就不要再从 Package Manager 装一遍否则会出现两套 API 打架编译报重复定义。2.2 Agent 脚本的三个核心方法观测、动作、奖励自行车机器人的智能行为全部落在 Agent 脚本里。ML-Agents 的 Agent 生命周期围绕三个方法转理解它们就理解了整个训练逻辑using Unity.MLAgents; using Unity.MLAgents.Sensors; using Unity.MLAgents.Actuators; using UnityEngine; public class BikeAgent : Agent { public Transform[] companions; // 同伴引用 public float moveSpeed 5f; private Rigidbody rb; public override void Initialize() { rb GetComponentRigidbody(); } // 收集观测自身速度 各同伴相对位置 射线命中 public override void CollectObservations(VectorSensor sensor) { sensor.AddObservation(transform.localPosition); // 3 sensor.AddObservation(rb.velocity); // 3 foreach (var c in companions) { Vector3 dir c.position - transform.position; sensor.AddObservation(dir.normalized); // 3 * N sensor.AddObservation(dir.magnitude); // 1 * N } } // 动作连续控制转向与前进 public override void OnActionReceived(ActionBuffers actions) { float steer actions.ContinuousActions[0]; float throttle actions.ContinuousActions[1]; transform.Rotate(0f, steer * 100f * Time.deltaTime, 0f); rb.AddForce(transform.forward * throttle * moveSpeed); // 奖励塑形远离同伴加分碰撞扣分 float minDist float.MaxValue; foreach (var c in companions) minDist Mathf.Min(minDist, Vector3.Distance(transform.position, c.position)); AddReward(minDist 3f ? 0.001f : -0.01f); } public override void Heuristic(in ActionBuffers actionsOut) { var ca actionsOut.ContinuousActions; ca[0] Input.GetAxis(Horizontal); ca[1] Input.GetAxis(Vertical); } private void OnCollisionEnter(Collision col) { if (col.gameObject.CompareTag(Companion)) AddReward(-1f); } }逻辑说明CollectObservations决定了网络能看到什么这里把自身位置、速度、每个同伴的方向和距离都喂进去观测维度 6 4×N。OnActionReceived把网络输出的两个连续值映射成转向和推力同时做奖励塑形——注意这里用的是「距离阈值」而非「碰撞才扣分」因为稀疏奖励在多智能体场景下极难收敛。Heuristic让你能用键盘手动测试场景是否正常训练前务必先手动跑一遍。参数说明moveSpeed控制推力系数太大容易飞出场景太小则学不会移动奖励里的0.001和-0.01是经验值如果训练曲线一直贴地先把正奖励调大一个量级试试。2.3 Behavior Parameters 与 Decision Requester 的配置对应关系场景里选中自行车机器人Inspector 面板上的Behavior Parameters必须和 yaml 配置对齐否则训练直接报维度错误Vector Observation→ Space Size 填6 4×同伴数比如 3 个同伴就是 18Continuous Actions→ Space Size 填 2转向 推力Behavior Name→ 必须和 yaml 里的behavior_name完全一致大小写敏感Decision Requester→ Decision Period 一般设 5即每 5 个物理步决策一次设 1 会导致决策过频、训练抖动常见做法是先用Heuristic Only模式手动驾驶确认观测和动作方向没反再切回Default让模型接管。这一步能省掉后面大量「训练不收敛」的排查时间。3. 从零跑通训练环境、命令与 TensorBoard 曲线判读3.1 Python 侧环境搭建与版本对齐ML-Agents release_15 对 Python 版本有要求我一般用 3.8 或 3.9太新的 3.11 容易在torch和mlagents依赖上翻车。步骤# 建议用 conda 隔离环境避免污染系统 Python conda create -n mlagents15 python3.9 -y conda activate mlagents15 # 安装与 release_15 匹配的训练器 pip install mlagents0.30.0 pip install torch1.13.1 --index-url https://download.pytorch.org/whl/cpu # 验证安装 mlagents-learn --help逻辑说明mlagents0.30.0是与 release_15 运行时匹配度较高的训练器版本版本错配是「Unity 端能跑、Python 端连不上」的头号原因。torch用 CPU 版即可这个场景的观测维度不大GPU 加速收益有限反而省去 CUDA 版本匹配的麻烦。参数说明如果你的工程实际用的是其他 release 号先用pip show mlagents看已装版本再对照官方 release notes 调整不要盲目照抄版本号。3.2 启动训练与关键命令参数环境就绪后训练分两步先启动 Python 训练器再在 Unity 里点 Play。mlagents-learn config/bike_avoid.yaml \ --run-idbike_avoid_v1 \ --train \ --time-scale20 \ --no-graphics逻辑说明--run-id是本次训练的实验名结果存在results/bike_avoid_v1/重名会覆盖建议带版本号。--time-scale20把仿真加速 20 倍这是 ML-Agents 相比真实机器人训练的最大优势——几分钟能跑完现实中几小时的数据量。--no-graphics在服务器或无头环境用本地调试想看画面就去掉。参数说明--time-scale不是越大越好设太高会导致物理步进和决策不同步出现「机器人瞬移」的玄学现象一般 1020 比较稳。训练中途想停CtrlC 即可模型会保存在results/bike_avoid_v1/BikeAgent.onnx。3.3 TensorBoard 曲线怎么读才算「训练正常」训练启动后另开终端tensorboard --logdir results浏览器打开localhost:6006重点看三条曲线Environment/Cumulative Reward整体奖励健康状态是震荡上升后趋于平稳。如果一直平或下降先查奖励函数是否给反了。Policy/Learning Rate学习率PPO 默认会衰减如果它一直是常数说明 yaml 里learning_rate_schedule配错了。Policy/Entropy策略熵反映探索程度。它应该缓慢下降如果骤降到接近 0说明策略过早收敛到局部最优机器人可能学会「原地转圈」这种偷懒策略。我一般会等到Cumulative Reward连续几个统计窗口不再创新高再停训练导出模型。急着停往往拿到的是半成品策略。4. 避坑与排查多智能体训练里最容易翻车的五件事4.1 现象训练几万步奖励纹丝不动原因奖励函数过于稀疏或者观测里缺少关键信息。多智能体避障如果只靠「碰撞扣分」机器人要随机撞无数次才能学到东西。解决加入距离塑形奖励如 2.2 节代码所示并确认观测里包含同伴的相对方向。如果同伴数量多考虑用射线检测替代逐个向量观测降低维度。4.2 现象Unity 报「The behavior name ... does not match」原因Behavior Parameters里的 Behavior Name 和 yaml 里的behavior_name不一致或者场景里有多个 Agent 用了同一个名字但观测维度不同。解决全局搜索 yaml 里的behavior_name逐个核对场景中每个 Agent 的配置。多智能体场景里不同角色的 Agent 必须用不同的 behavior name。4.3 现象Python 端一直显示「Waiting for Unity」连不上原因端口被占用或 Unity 端没点 Play或防火墙拦截了 5004 端口。解决先确认 Unity 已进入 Play 模式再检查 5004 端口是否被其他进程占用netstat -ano | findstr 5004最后确认训练器和 Unity 在同一台机器上跨机通信需要额外配--base-port和 IP。4.4 现象机器人学会「原地抖动」而非移动原因动作空间设计不合理转向和推力的奖励权重失衡或者 Decision Period 太小导致决策抖动。解决把 Decision Period 从 1 调到 5 左右检查奖励里是否有鼓励移动的项纯避障奖励会让机器人选择「不动最安全」必要时给推力动作加一个最小阈值。4.5 现象训练好的 onnx 模型推理时行为异常原因推理场景的观测顺序和训练时不一致或者模型文件放错位置。解决把训练场景和推理场景的 Agent 脚本共用同一份CollectObservations不要复制粘贴后各改各的onnx 模型要放在Assets/ML-Agents/对应 behavior 的模型槽里并在Behavior Type选Inference Only。5. 进阶技巧用课程学习把「躲避同伴」拆成三阶段训练直接训练多智能体避障收敛慢是常态。我一般会引入课程学习Curriculum Learning把任务拆成由易到难的三阶段这也是 ML-Agents 相比自己写训练循环的一大优势——它内置了课程配置支持。在 yaml 里加一段environment_parameters: companion_count: curriculum: - name: Easy completion_criteria: measure: reward behavior: BikeAgent threshold: 0.5 min_lesson_length: 100 value: 1.0 - name: Medium completion_criteria: measure: reward behavior: BikeAgent threshold: 1.0 min_lesson_length: 100 value: 2.0 - name: Hard value: 3.0逻辑说明companion_count这个环境参数会传给 Unity 端Agent 脚本里通过Academy.Instance.EnvironmentParameters.GetWithDefault(companion_count, 1f)读取动态调整同伴生成数量。第一阶段只有 1 个同伴机器人容易学会基础避障当平均奖励超过 0.5 且持续 100 个 episode 后自动进入 2 个同伴最终阶段 3 个同伴。参数说明threshold不要设太高否则卡在某一阶段永远进不了下一阶段min_lesson_length防止偶然高奖励触发提前升级。这套机制的本质是「让策略在能力边界附近持续学习」比一上来就硬刚最难场景高效得多。验证课程是否生效看 TensorBoard 里的Environment/Episode Length——如果它随课程推进逐渐变长说明机器人在更难场景下存活更久策略确实在进步。我踩过的一个坑是课程参数改了但 Unity 端没重新读取原因是Academy的环境参数只在 episode 开始时刷新改完 yaml 要重启训练器并重新 Play。从那以后我每次调课程配置都强制先跑 500 步确认companion_count真的在变再放手让它长时间训练。这套工程的价值不在于代码多复杂而在于它把多智能体训练的完整链路——观测设计、奖励塑形、课程进阶、曲线判读——都摆在了明面上你可以逐项改、逐项验证。希望帮到你。本文还有配套的精品资源点击获取