1. 从“上帝视角”跌落凡间离散 vs. 连续在纯粹的数字世界里一切都是离散且完美的。 当你在 Python 里写下a 5a永远是 5不会是 4.999也不会在 10 毫秒后才变成 5。当你输入一个 TokenTransformer 接收到的就是这个确定的整数 ID。在这个世界里时间是逻辑步数Step没有物理时钟。但在具身智能的世界里机器人面对的是物理定律没有完美的值噪声传感器读数永远在跳动电机永远无法精确输出你指令的扭矩。没有瞬间的动作延迟光速是快的但电路、计算、机械传动是慢的。核心洞察在 LLM 中错误通常源于逻辑Hallucination在机器人中错误往往源于物理Physics——即使逻辑完全正确延迟和噪声也能让系统崩溃。2. 延迟Latency隐形的杀手想象你在玩一个网络延迟极高的射击游戏Ping 值 500ms。你看到敌人开枪但什么也没打中因为你看到的“敌人”其实是 0.5 秒前的残影。机器人无时无刻不在玩这个“高延迟游戏”。具身系统的“总延迟”构成一个典型的 Sense-Act 循环延迟 () 由以下部分串联而成感知延迟 ()光线进入摄像头曝光读出数据传输到内存。这通常需要 30ms - 100ms。计算延迟 ()神经网络推理Inference。如果你用大模型做决策这里可能高达 200ms甚至数秒。传输延迟 ()CPU/GPU 将指令发给底层控制器如 CAN 总线、Ethernet。机械延迟 ()这是最容易被忽视的。电流流过线圈电机产生磁场克服静摩擦力齿轮咬合最后手臂真正动起来。物理惯性导致了必然的滞后。为什么延迟会引发灾难在控制理论中延迟会导致相位滞后Phase Lag。 假设机器人要抓取一个移动的物体。如果没有延迟它能实时跟踪。加上延迟后当机器人“看到”物体偏左并试图向左修正时物体可能已经回到中间了。结果机器人向左猛冲发现偏得更远了又向右猛冲……这就是可怕的震荡Oscillation。在极端情况下系统会发散Diverge——机器人会剧烈抖动直至把自己拆散。3. 噪声Noise世界充满了谎言如果说延迟是“迟钝”那噪声就是“幻觉”。在物理世界中没有任何测量是绝对准确的。A. 观测噪声Observation Noise你的眼睛摄像头和耳朵麦克风都在“撒谎”。深度相机Depth Camera对着一面白墙或反光镜子你会看到很多黑洞或错误的距离值。激光雷达LiDAR雨雪雾天会产生大量的噪点。IMU惯性测量单元哪怕机器人静止不动加速度计读数也会在 0附近疯狂跳动高斯白噪声。数学上我们不再说观测值等于真实状态而是B. 执行噪声Process/Actuation Noise你想走直线但你走不出直线。摩擦力不均地面一边滑一边涩。电机死区只有电压超过一定阈值电机才会转动。磨损与间隙齿轮之间的空隙Backlash导致你指令转 1 度实际轮子没动。数学上下一个状态不仅仅由当前状态和动作决定这意味着具身智能不仅要规划Plan更要推断Infer和修正Correct。这也是为什么我们在后面章节需要学习“卡尔曼滤波”和“概率机器人学”的原因。4. 具身智能的应对之道Sim-to-Real Gap这引出了具身智能领域最著名的问题Sim-to-Real Gap虚实迁移鸿沟。我们在仿真器Simulation里训练机器人时就像在一个没有延迟、没有噪声的完美真空中。机器人在仿真里学会了跑酷但一部署到真机上往往会像醉汉一样摔倒。为什么因为仿真器里的物理引擎Physics Engine是基于简化公式的它无法完美模拟现实世界中复杂的空气动力学、软体形变、温度对电路的影响以及延迟和随机噪声。正因为延迟和噪声的存在导致了具身智能的技术栈必须极其复杂因为有延迟我们不能指望 AI 像回合制游戏一样思考。我们需要高频控制50Hz ~ 1000Hz和预测未来第9章世界模型。因为有感知噪声我们不能直接信赖传感器。我们需要滤波算法卡尔曼滤波来融合多传感器数据从噪声中提取真相。因为有执行噪声我们不能只做开环规划。我们需要闭环反馈PID和鲁棒性策略RL来不断修正误差。ChatGPT 犯错可能只是说了一句胡话机器人犯错由于延迟或噪声可能会撞碎玻璃、损坏自身甚至伤害人类。习题假设你正在通过远程操控Teleoperation控制一台位于火星的探测车。地球到火星的信号传输延迟约为 10 分钟单程。问题为什么你不能像玩赛车游戏一样实时控制它如果探测车前方 5 米处突然出现悬崖而在你的屏幕上探测车还在平地上行驶会发生什么进阶这种情况下探测车应该具备什么样的“自主权Autonomy”才能生存提示思考 Reflex System 与 Conscious System 的区别。1.在 20 分钟的通信闭环里你发出的指令是基于“过去”的状态10分钟前执行的动作将发生在“未来”10分钟后。如果你的屏幕显示前方平坦实际火星车可能已经到了悬崖边。当你看到悬崖并按下“停止”键时指令传到火星又是 10 分钟后了——此时车早已坠毁。2.地球端High-Level人类不发送具体的电机指令如“左轮转速 50rpm”而是发送任务指令如“移动到坐标 [x,y] 处的岩石”。火星车端Low-Level / Real-time必须具备局部自主权Local Autonomy。它需要一个高频的本地反射弧Reflex Loop利用本地传感器激光雷达/视觉实时检测障碍。一旦检测到悬崖无论人类有没有指令必须立即覆盖Override原有路径触发急停或避障。这就是具身智能中的“系统快慢思考”。底层控制必须极快且就在本地脊髓反射高层规划可以慢且在云端/大脑皮层思考。