尧图网页设计 
LeRobot 手机 AR 遥操作实战指南一部手机控制 SO100 机械臂【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobotLeRobot 的手机 AR 遥操作用手机内置传感器通过 AR 捕捉 6 自由度姿态再换算成 SO100 机械臂的动作指令。没有专用遥操器也能做示教、录数据和演示。什么场景会用它手上没有主从机械臂或手柄想用轻量设备做遥操作演示需要人工示教 SO100/SO101 并同步录制训练数据含相机教学或演示场合手机比接线式主臂更容易上手走通一次完整体验准备硬件与软件必需项只有这几样SO100 follower 机械臂串口接好电脑端口写在 examples/phone_to_so100/teleoperate.py 的SO100FollowerConfig里手机一端iOS 装 HEBI Mobile I/O 应用Android 用支持 WebXR 的浏览器电脑安装依赖pip install lerobot[phone]逆运动学依赖 URDF 模型把 SO101 的 URDF 文件夹复制到examples/phone_to_so100/下让路径变成./SO101/so101_new_calib.urdf启动与校准运行python examples/phone_to_so100/teleoperate.py连接机器人和手机后会提示你校准握持姿势屏幕朝上、手机顶边指向机器人 x 方向让手机坐标系和机器人坐标系对齐iOS在 HEBI Mobile I/O 里长按 B1 抓取参考姿态Android在 WebXR 页面上触摸并滑动完成抓取程序把当前姿态存为基准之后只认相对它的移动每按住一次使能都会重新记录基准所以中途挪动手机不会造成跳变试控平移、旋转、夹爪平移前后左右移动手机末端跟随倾斜手机调整末端姿态夹爪iOS 用 A3 滑块做速度输入Android 用 A开/ B合两个按钮使能iOS 长按 B1、Android 按住 Move 才有输出松开立即停脚本里默认 30 FPS 循环并用 Rerun 可视化当前轨迹方便确认动作对不对拆开看手机姿态如何变成关节角度这条链路是传感器数据 → 校准 → 坐标映射 → 逆运动学。起点在手机上。iOS 走 ARKit 拿到位置和四元数Android 从 WebXR 会话拿到 4x4 变换矩阵lerobot 的 phone 遥操作员src/lerobot/teleoperators/phone/统一把它们整理成位置 旋转。然后是校准。第一次按住使能时程序记下此刻的位置和旋转并保存旋转的逆。之后每一帧都算当前姿态减去基准你控制的是相对起始位置的位移而不是绝对坐标。接着是坐标映射。手机坐标轴和机械臂并不一致MapPhoneActionToRobotAction这一步做翻转和交换手机 y 分量取反后变成目标的 x手机 x 变成目标的 y旋转矢量的分量也做对应的交换与取反。这样把手机往自己方向带对应的就是臂往你期望的方向走。最后是逆运动学。RobotKinematics基于 URDF 构建目标坐标系设为gripper_frame_link。先用正运动学从当前关节角算出末端位姿把它当作参考点叠上手机带来的增量得到目标末端位姿EEBoundsAndSafety将其裁剪进工作空间并限制单帧步长再调用inverse_kinematics解出各关节目标角初始猜测取当前实测关节闭环。夹爪则单独由GripperVelocityToJoint把速度积分成位置。避坑与安全️ 按住才动使能键B1 / Move必须持续按住松开即停这是最基本的保护️ 双重限位工作空间由end_effector_bounds裁剪示例为 ±1.0 m单帧位移由max_ee_step_m0.10限速防止传感器抖动引发突跳⚠️ iOS 发现不了设备确认 HEBI Mobile I/O 已打开且手机和主机在同一局域网⚠️ Android 打不开地址核对脚本打印的 IP用 https 访问证书警告需忽略⚠️ 动作方向反了去MapPhoneActionToRobotAction里调整取反与换轴⚠️ 忘了放 URDF没有 SO101 的 URDF 文件逆运动学初始化会直接失败接下来可以玩什么 录数据集examples/phone_to_so100/record.py 用同样的管线把末端位姿存进 LeRobotDataset配 replay.py 可回放 调管线映射方向、工作空间、IK 初始猜测等都在 processor step 里参考 docs/source/phone_teleop.mdx 换机器人把运动学与电机步骤替换掉即可移植step 实现见 src/lerobot/robots/so_follower/robot_kinematic_processor.py把这条手机 → 关节的管线走通之后录制、回放、评估策略这些下游环节就都接得上了。【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 LeRobot 手机 AR 遥操作实战指南：一部手机控制 SO100 机械臂
LeRobot 手机 AR 遥操作实战指南一部手机控制 SO100 机械臂【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobotLeRobot 的手机 AR 遥操作用手机内置传感器通过 AR 捕捉 6 自由度姿态再换算成 SO100 机械臂的动作指令。没有专用遥操器也能做示教、录数据和演示。什么场景会用它手上没有主从机械臂或手柄想用轻量设备做遥操作演示需要人工示教 SO100/SO101 并同步录制训练数据含相机教学或演示场合手机比接线式主臂更容易上手走通一次完整体验准备硬件与软件必需项只有这几样SO100 follower 机械臂串口接好电脑端口写在 examples/phone_to_so100/teleoperate.py 的SO100FollowerConfig里手机一端iOS 装 HEBI Mobile I/O 应用Android 用支持 WebXR 的浏览器电脑安装依赖pip install lerobot[phone]逆运动学依赖 URDF 模型把 SO101 的 URDF 文件夹复制到examples/phone_to_so100/下让路径变成./SO101/so101_new_calib.urdf启动与校准运行python examples/phone_to_so100/teleoperate.py连接机器人和手机后会提示你校准握持姿势屏幕朝上、手机顶边指向机器人 x 方向让手机坐标系和机器人坐标系对齐iOS在 HEBI Mobile I/O 里长按 B1 抓取参考姿态Android在 WebXR 页面上触摸并滑动完成抓取程序把当前姿态存为基准之后只认相对它的移动每按住一次使能都会重新记录基准所以中途挪动手机不会造成跳变试控平移、旋转、夹爪平移前后左右移动手机末端跟随倾斜手机调整末端姿态夹爪iOS 用 A3 滑块做速度输入Android 用 A开/ B合两个按钮使能iOS 长按 B1、Android 按住 Move 才有输出松开立即停脚本里默认 30 FPS 循环并用 Rerun 可视化当前轨迹方便确认动作对不对拆开看手机姿态如何变成关节角度这条链路是传感器数据 → 校准 → 坐标映射 → 逆运动学。起点在手机上。iOS 走 ARKit 拿到位置和四元数Android 从 WebXR 会话拿到 4x4 变换矩阵lerobot 的 phone 遥操作员src/lerobot/teleoperators/phone/统一把它们整理成位置 旋转。然后是校准。第一次按住使能时程序记下此刻的位置和旋转并保存旋转的逆。之后每一帧都算当前姿态减去基准你控制的是相对起始位置的位移而不是绝对坐标。接着是坐标映射。手机坐标轴和机械臂并不一致MapPhoneActionToRobotAction这一步做翻转和交换手机 y 分量取反后变成目标的 x手机 x 变成目标的 y旋转矢量的分量也做对应的交换与取反。这样把手机往自己方向带对应的就是臂往你期望的方向走。最后是逆运动学。RobotKinematics基于 URDF 构建目标坐标系设为gripper_frame_link。先用正运动学从当前关节角算出末端位姿把它当作参考点叠上手机带来的增量得到目标末端位姿EEBoundsAndSafety将其裁剪进工作空间并限制单帧步长再调用inverse_kinematics解出各关节目标角初始猜测取当前实测关节闭环。夹爪则单独由GripperVelocityToJoint把速度积分成位置。避坑与安全️ 按住才动使能键B1 / Move必须持续按住松开即停这是最基本的保护️ 双重限位工作空间由end_effector_bounds裁剪示例为 ±1.0 m单帧位移由max_ee_step_m0.10限速防止传感器抖动引发突跳⚠️ iOS 发现不了设备确认 HEBI Mobile I/O 已打开且手机和主机在同一局域网⚠️ Android 打不开地址核对脚本打印的 IP用 https 访问证书警告需忽略⚠️ 动作方向反了去MapPhoneActionToRobotAction里调整取反与换轴⚠️ 忘了放 URDF没有 SO101 的 URDF 文件逆运动学初始化会直接失败接下来可以玩什么 录数据集examples/phone_to_so100/record.py 用同样的管线把末端位姿存进 LeRobotDataset配 replay.py 可回放 调管线映射方向、工作空间、IK 初始猜测等都在 processor step 里参考 docs/source/phone_teleop.mdx 换机器人把运动学与电机步骤替换掉即可移植step 实现见 src/lerobot/robots/so_follower/robot_kinematic_processor.py把这条手机 → 关节的管线走通之后录制、回放、评估策略这些下游环节就都接得上了。【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考