1. 机器人操作的新挑战为什么“看懂”比“做到”更难如果你玩过乐高或者组装过宜家家具应该能体会到那种感觉手里拿着零件看着说明书上的2D图片脑子里却要拼命想象它在3D空间里该怎么转、怎么放。很多时候不是你的手不够巧而是你的大脑对空间关系的理解跟不上。现在的机器人尤其是做精细操作的机器人就经常卡在这个“脑子跟不上”的坎上。想象一下让一个机器人去收拾凌乱的桌面它需要拿起一个杯子绕过旁边的台灯稳稳地放进洗碗机里。这听起来简单但对机器人来说简直是“地狱难度”。它看到的可能是几个摄像头传来的2D平面图像它得从这些扁平的画面里凭空“脑补”出杯子、台灯、桌子和自己机械臂之间的三维空间关系——哪个在前哪个在后距离多远会不会碰撞。这还没完它还得理解自己身体的结构七个关节的机械臂每个关节怎么动末端的手爪才能以什么角度、什么速度去抓取。这就是我们常说的空间理解能力它包含了对外部3D环境的感知和对内部机器人本体的认知。过去几年基于扩散模型的策略学习火了起来因为它能生成非常平滑、多样且合理的动作序列就像给机器人装了一个会“想象”多种可能动作的大脑。但是这个“大脑”的“眼睛”不太好使。很多模型依赖的是从2D图像里提取特征的视觉编码器比如ResNet、ViT。这些编码器在识别物体“这是杯子”上很厉害但在判断空间关系“杯子在台灯左边10厘米且比台灯高5厘米”上就有点抓瞎了存在固有的空间歧义。另一方面大多数模型只关心机械臂末端执行器就是那个夹爪或吸盘最终要去哪儿却忽略了机器人身体里那一串关节是怎么协同工作的。这就好比只告诉你的手“去拿杯子”却不告诉你的肩膀、肘部、手腕该怎么配合转动结果动作可能很别扭甚至根本够不着。所以问题的核心变成了我们如何给这个聪明的“扩散模型大脑”配上一双具有深度感知的“3D眼睛”和一份清晰的“身体使用说明书”这就是SEM模型要解决的根本问题。它不是另一个简单的端到端黑箱而是从架构设计上就明确地把3D几何和本体感知作为一等公民来对待。接下来我们就拆开看看SEM是怎么把这双“眼睛”和这份“说明书”装到机器人身上的。2. SEM的核心设计一双3D眼睛与一份身体地图SEM的全称是Spatial Enhanced Manipulation翻译过来就是“空间增强操作”。这个名字直击要害。它的整体思路很清晰在标准的扩散策略模型骨架里插入两个专门负责提升空间理解能力的模块。你可以把它想象成给一个赛车手扩散模型同时配备了高精度雷达3D空间增强器和车辆动态传感器机器人状态编码器。2.1 3D空间增强器从“平面照片”到“立体沙盘”这个模块要解决的就是如何把多张2D照片变成机器人脑子里的一幅3D地图。传统方法要么直接用2D特征空间感差要么直接处理3D点云计算量大且容易丢失语义细节。SEM的3D空间增强器走了一条巧妙的中间路线。它的输入是多视角的2D图像特征来自Swin Transformer这类视觉主干网络、对应的深度图以及相机的参数我知道相机在哪、怎么看世界的。它的工作流程有点像在脑海里进行一场“3D重建”投影与采样对于图像上的每一个特征点模型会沿着这个像素对应的视线方向在深度方向上采样一系列假设的3D点。比如对于图像中心的一个点它可能对应着距离相机0.5米、1米、1.5米……的多个空间位置。深度感知融合模型不是盲目地猜测哪个深度是对的而是会同时看深度图如果有的话和图像特征本身预测一个概率分布——这个特征点有多大概率落在每个采样的深度上。然后它用这个概率作为权重对所有假设的3D位置的特征进行加权求和。这就得到了一个既带有原始图像语义这是杯子的边缘又带有精确几何位置这个边缘在空间中的XYZ坐标的“3D特征嵌入”。坐标系统一所有视角计算出来的3D特征都会被转换到同一个坐标系下通常是机器人身体的基础坐标系。这样来自左边相机和右边相机的信息就在同一个3D空间里对齐了形成了一个统一的、富含语义的3D场景表示。我打个比方这就像你蒙着眼睛走进一个房间朋友用语言给你描述“桌子在你正前方两米左边有个椅子”。你大脑会把这段语言2D特征和距离信息深度结合在脑海里构建出一个房间的3D模型。SEM的3D空间增强器干的就是这个活儿而且它还能处理多个“朋友”多视角的描述综合成一个更准确的模型。更实用的是这个模块被设计成“即插即用”。如果你的机器人没有深度传感器比如只有RGB摄像头没问题深度图输入那部分可以省略模型会学习直接从图像特征里预测深度分布。这大大增加了方案的实用性。2.2 机器人状态编码器绘制关节协作关系图机器人不是一根棍子它是一串通过关节连接起来的连杆。只关心末端夹爪的位置和姿态就像只关心你的指尖而不关心你的胳膊肘很多灵巧、高效、符合动力学特性的动作是规划不出来的。SEM的第二个核心模块就是用来理解机器人自己身体的。这个模块的输入是机器人当前所有关节的角度。但它做的第一件事很关键通过正向运动学计算出每个关节在3D空间中的实际6D位姿3D位置3D朝向。这样每个关节不再是一个抽象的数字而是一个在3D空间中有确切位置和方向的“节点”。接下来SEM把这些关节节点组织成一张图。图的节点就是各个关节图的边则代表了关节之间的连接关系比如肩关节连着肘关节。然后它使用了一种叫做图注意力网络的技术来处理这张图。图注意力机制的精妙之处在于它让每个关节在更新自己的状态时不是孤立地思考而是“有选择地关注”其他关节。比如手腕关节要转动时它会更多地关注肘关节和肩关节的状态而不是去关注很远的基础关节。这种注意力权重可以通过关节之间的连接距离在运动学链上的跳数来引导。这样编码出来的机器人状态特征就天然蕴含了关节之间的依赖关系和运动学约束。这相当于给机器人绘制了一份动态的“身体协作地图”。当模型在规划动作时它能清楚地知道动一下手腕需要肘部和肩部如何配合从而生成的动作在物理上更加可行、协调避免了那些“反关节”的、不自然的奇怪姿势。3. 如何将增强的空间感知转化为精准动作有了增强的3D环境特征和清晰的机器人本体特征SEM接下来要做的就是让它的“扩散模型大脑”利用这些信息生成未来一段时间内机器人每个关节应该如何运动的轨迹。这个过程主要由动作解码器来完成它本质上是一个扩散Transformer。扩散模型生成动作的过程可以理解为“去噪”。我们从一段完全随机的、嘈杂的关节轨迹开始然后反复问模型“根据当前的环境3D特征、任务指令文本特征和机器人当前状态本体特征如果这是正确的轨迹那么它应该是什么样子”模型每次预测出一点“噪声”并将其移除经过多次迭代一段合理、平滑的动作轨迹就逐渐从混沌中浮现出来。SEM的动作解码器在这个去噪过程中通过多个交叉注意力层让带噪的轨迹特征与前面提取的所有条件特征进行充分“对话”与3D空间特征对话让轨迹去关注环境中哪些区域是障碍物需要避开目标物体在什么位置。与机器人本体特征对话确保生成的关节角度变化符合身体结构的约束是连贯且自然的。与任务指令特征对话确保动作是朝着完成任务的方向进行的比如“放置”和“推”的动作模式会不同。特别值得一提的是SEM在训练时使用了比以往方法更丰富的监督信号。它不仅要求预测的关节角度要接近真实值还要求预测的每个关节的6D位姿也要接近真实值。这相当于从两个维度关节空间和任务空间同时约束模型让它学到的动作既在内部是协调的在外部空间中也精准到位。这就像学跳舞不仅要求你脚步踩对拍子关节角度还要求你手臂的舞姿到位末端位姿这样整体动作才优美。4. 实战表现在仿真与现实中超越基线模型设计得再精巧最终还是要看实战效果。SEM在名为RoboTwin的仿真基准测试中接受了全面检验。这个基准包含16项颇具挑战的双臂操作任务比如“将挂钩挂到杆上”、“将形状各异的积木放入对应凹槽”、“折叠布料”等。这些任务非常考验模型的空间理解和精细控制能力。实验结果显示SEM的平均任务成功率比之前优秀的基线方法如KStarDiffuser等高出22.1%。这个提升是相当显著的。具体分析来看SEM在那些需要复杂空间推理的任务上优势尤其明显。例如在“挂挂钩”任务中机器人需要精确判断挂钩的开口方向与杆子的相对角度和位置SEM的成功率远超基线。这直接证明了其3D空间增强器带来的几何理解优势。更令人印象深刻的是它的泛化能力。研究人员设计了“压力测试”在测试时随意改变相机的位置和角度即换一个视角看场景或者改变机器人的初始姿态。许多模型在这种变化下性能会大幅下降但SEM表现出了强大的鲁棒性。这得益于它显式地对相机参数进行建模在空间增强器中并将所有特征统一到机器人基坐标系。无论相机怎么摆它都能将视觉信息正确注册到同一个3D世界框架中。同样由于机器人状态编码器学会了关节间的通用依赖关系而非死记硬背某种固定姿态下的动作因此对不同的初始关节状态也能很好地适应。仿真成功之后团队还将SEM部署到了真实的机械臂上执行了拾取放置、插拔等任务。从实验室的视频可以看到机械臂的动作流畅、精准在面对物体轻微位移、光照变化等真实世界干扰时依然能可靠地完成任务。这证明了SEM从仿真到现实的迁移能力是有效的其学到的空间和本体表示在物理世界中也具有实际意义。5. 超越SEM对未来机器人智能的启示SEM的工作给我们带来的远不止一个性能更强的模型。它更像是指明了一个重要的技术演进方向下一代机器人操作模型必须是“空间感知原生”的。回顾过去很多方法把视觉和操控割裂开或者把环境理解和身体控制割裂开。视觉模块只管识别规划模块只管算路径控制模块只管执行。SEM则向我们展示了通过精心设计的架构我们可以让模型在感知的初期就将3D几何信息与语义信息融合在规划的初期就将本体约束纳入考量。这种“原生集成”比事后修补要有效得多。从工程实现的角度看SEM的模块化设计也提供了很好的灵活性。3D空间增强器可以兼容有无深度传感器的场景机器人状态编码器可以适配不同自由度的机械臂只需改变关节图的结构。这意味着它可以作为一个强大的基础组件被集成到更庞大的系统中去。当然SEM目前主要专注于单次、短序列的抓取和放置类任务。未来的挑战在于如何将这种强大的空间理解能力扩展到更长期的、需要复杂逻辑推理和任务规划的操作中。例如完成“做一顿早餐”这样的任务需要分解成打开冰箱、取出鸡蛋、找到煎锅、打开炉灶、煎蛋等一系列子步骤每个步骤都对空间理解有极高要求。此外如何与大规模视觉-语言模型结合利用其丰富的常识和推理能力来指导这种空间操作也是一个激动人心的前沿方向。在我自己尝试复现和借鉴SEM思路进行开发的过程中一个很深的体会是对机器人问题的建模方式往往比堆叠更多的数据或使用更复杂的网络结构更重要。SEM的成功在于它准确地抓住了机器人操作中的核心瓶颈——空间关系的量化与利用并用了两个优雅的模块去针对性解决。这提醒我们在追求更庞大、更通用的AI模型的同时针对具体领域如机器人学的物理本质和核心约束进行深度思考与模型设计永远是产生突破的关键。这条路或许没有直接套用超大预训练模型来得“快”但它往往走得更“稳”也更“深”。