点击下方卡片关注“CVer”公众号AI/CV重磅干货第一时间送达【具身智能】微信群成立大家快扫码加入具身星球将获得最新具身智能技术和项目、❤️ 从入门到精通的学习路线、 具身智能招聘(实习/校招/社招/升学)、具身智能公司名单和高校实验室/教师名单和 行业动态和行业报告等。▲【具身智能】微信群当下具身 AI、人形机器人赛道火得一塌糊涂从特斯拉 Optimus 到 Figure 01各家都在卷视觉 - 语言 - 动作VLA模型—— 这是机器人能看懂自然指令、完成精细操作的核心大脑。但行业里有个绕不开的落地痛点VLA 模型虽强却太「笨重」了。连续视觉流处理带来了恐怖的计算开销想让机器人在端侧实时响应、流畅操作要么牺牲性能换速度要么就得堆高端硬件拉高了规模化落地的门槛。此前给图文大模型VLM提速的主流视觉 token 剪枝方案放到 VLA 模型上更是直接「水土不服」一剪就丢了动作执行的关键细节高剪枝率下性能直接崩盘机器人连简单的抓取放置都频频翻车。现在这个行业难题终于有了破局方案。上海交通大学联合中国科学技术大学、哈尔滨工业大学、北京智源研究院的团队提出了全新的 VLA 模型加速框架VLA-Pruner用一套适配 VLA 模型本质的创新设计实现了「极致提速 无损性能」的兼得✅ 即插即用无需修改模型架构、无需重新训练主流 VLA 模型拿来就能用✅ 最高实现1.99 倍推理加速端侧部署的硬件成本直接砍半✅ 75% 的视觉 token 被剪掉仍能保住近100% 的任务性能无断崖式下跌✅ 50% 剪枝率下甚至能提升长时序复杂任务成功率 4.2%实现精准操控一、为什么现有VLM加速方案到VLA身上就「失灵」了在聊 VLA-Pruner 的创新之前我们先搞懂一个核心问题给大模型提速屡试不爽的 token 剪枝为什么在 VLA 模型上频频翻车所谓视觉 token 剪枝核心逻辑非常直白一张图片转换成成百上千个视觉 token 后大部分都是背景、无意义的冗余信息只保留最关键的一小部分就能大幅缩减计算量给模型提速。这套逻辑在纯图文理解的 VLM 大模型上跑得通因为 VLM 只需要完成「看懂」这一件事 —— 只要保留和文本语义强相关的 token就能完成问答、看图描述等任务。但 VLA 模型不一样它天生就是「双系统」的工作模式1. 系统 1高层语义理解要读懂语言指令、看懂全局场景核心解决「要做什么」的问题2. 系统 2底层动作执行要精准控制机械臂的位置、角度、力度核心解决「该怎么做」的问题这两个系统对视觉信息的需求有着天壤之别。论文团队通过实验发现了一个关键规律 (Figure 2)VLA 模型在语义预填充阶段注意力是广域分布的会覆盖整个场景的语义信息但到了动作解码阶段注意力会高度聚焦在机械臂末端、操作物体边缘这些局部细节上。两个阶段的核心关注token平均重叠率只有 50%极端情况下甚至不到 30%。这就意味着此前只看语义显著性的剪枝方案本质上是严重「偏科」的它会拼命保留语义相关的 token却把动作执行必需的关键细节给剪掉了。就像你让机器人「把碗放到盘子上」传统剪枝方案保留了「碗」「盘子」这些语义关键词却把「碗的边缘」「夹爪的相对位置」这些决定操作成败的细节给丢了机器人自然频频翻车 —— 剪枝比例越高性能崩得越厉害。二、王炸设计双管齐下既要极致提速又不丢关键细节针对 VLA 模型的双系统本质VLA-Pruner 做了两大核心创新从根上解决了「提速就掉性能」的行业顽疾。2.1 双目标重要性准则语义、动作两手抓两手都要硬既然 VLA 模型有两个核心需求那 token 重要性的评判标准就不能只看语义这一条单行道。VLA-Pruner 首次为 VLA 场景提出了双目标 token 重要性准则同时覆盖两大核心需求· 语义维度用视觉 - 语言预填充注意力分数量化 token 与任务语义的相关性保证模型能看懂指令和场景不丢全局语义信息· 动作维度用动作解码注意力分数量化 token 对动作执行精度的贡献锁定机械臂操作必需的局部细节保证精细动作不翻车。时序连续性。机器人的操作是连续平滑的不会出现无规律的跳变上一个时间步动作注意力聚焦在夹爪和操作物体上这一个时间步大概率还是会聚焦在这个核心区域就像你开车过弯时视线不会突然从路面跳到窗外。基于这个特性团队设计了衰减窗口平均机制用历史几个时间步的动作注意力数据通过加权平滑精准估计出当前步的动作注意力分布完美解决了「动作信息提前无法获取」的核心难题。2.2 双层 token 选择策略先全收关键信息再挤掉冗余水分拿到语义和动作两个维度的关键 token 候选集后怎么合并成最终的精简 token 集如果用传统的加权线性融合会出现超参数敏感、信息冗余、顾此失彼的问题 —— 权重很难调节且不同情况下最优的权重会有极大的区别。团队借鉴信息论中「最小冗余 - 最大相关mRMR」的核心原则设计了 「先合并 - 后过滤」的双层 token 选择策略彻底避开了传统方案的坑1. 最大相关池化直接取语义和动作两个候选集的并集不管是语义理解需要的还是动作执行需要的先全部收进来从根源上避免关键信息被误删2. 最小冗余过滤把候选集里高度相似、重复冗余的 token 剔除最终压缩到目标计算预算内既保证了信息全面无遗漏又实现了极致的压缩比。这套方案无需调复杂的超参数鲁棒性拉满哪怕是场景突变、动作注意力快速变化也不会丢失关键信息完美适配机器人复杂的操作场景。三、数据说话全面碾压 SOTA高剪枝率下依然稳如泰山团队在多个主流 VLA 架构、行业通用仿真基准、真实机器人场景中做了全面的对比测试结果堪称降维打击。3.1 核心基准测试LIBERO 机器人操作 Benchmark在机器人操作领域通用的 LIBERO 基准上VLA-Pruner 和 FastV、SparseVLM、DivPrune、VLA-Cache 等所有主流 SOTA 方案同台竞技实现了全场景全面领先本次测试里我们对比了不同方案在不同剪枝率下的实际表现统一用「相对精度」来衡量模型的性能保留效果。测试结果显示VLA-Pruner 彻底打破了 “提速必掉性能” 的行业痛点50% 剪枝率下不仅无性能损耗长时序复杂任务成功率还提升 4.2%实现 1.33 倍推理加速75% 剪枝率下仍保持 98.48% 的相对精度1.63 倍加速操作效果与原始模型几乎无差别即便是 87.5% 的超高剪枝率传统方案已出现性能断崖式下跌VLA-Pruner 仍保持 88.90% 的相对精度领先最优基线超 34 个百分点最高实现 1.99 倍推理加速在空间布局、物体识别、目标理解、长时序多步操作全类型机器人任务中均无短板 (见Table1和Figure4)。3.2 跨架构通用真正的即插即用不挑模型VLA-Pruner 是完全训练无关、架构无关的插件式模块无需修改模型结构无需重新训练适配所有带动作 - 视觉交叉注意力的主流 VLA 模型不仅在自回归架构的 OpenVLA、OpenVLA-OFT 上表现拉满在扩散头架构的 π0 模型上同样实现了极致效果 ——75% 剪枝率下仍保持98.44% 的相对精度。3.3 真实机器人落地从仿真到现实效果丝毫不打折扣3.4 可视化效果验证精准锁定操作细节高剪枝率下零翻车我们通过机器人经典精细操作任务「打开橱柜中间抽屉」直观对比了 VLA-Pruner 与主流方案的实际落地效果。在同样 75% 的高剪枝率下传统方案 FastV 直接丢失了抽屉把手、机械臂末端等动作执行的核心局部信息导致机器人无法精准定位操作点任务直接失败而 VLA-Pruner 在大幅压缩视觉 token 的同时完整保留了操作必需的关键细节同时兼顾全局场景的语义理解完美支撑机器人完成精准操作从视觉层面直观印证了方案的核心优势。四、不止于论文给具身 AI 落地踩下了油门当下具身 AI、人形机器人正从实验室走向产业落地而 VLA 模型的推理效率正是卡住规模化落地的核心瓶颈之一。端侧机器人的硬件算力天然受限不可能像云端大模型一样无限堆显卡想要实现实时响应、流畅操作就必须在不损失性能的前提下给 VLA 模型做极致的轻量化提速。VLA-Pruner 的出现恰恰解决了这个核心痛点· 对科研圈来说它提供了一个即插即用的轻量化框架不用再为了提速修改模型、重训权重大幅降低了 VLA 模型的研究门槛· 对产业界来说它能直接让现有 VLA 模型在中端端侧硬件上实现实时推理无需堆高端算力芯片大幅压缩了具身 AI 产品的落地成本· 更重要的是它首次系统性揭示了 VLA 模型的双系统本质为后续 VLA 模型的轻量化、加速研究指明了全新的核心方向。目前VLA-Pruner 的完整代码已全部开源相关论文也已公开无论是科研人员还是产业工程师都可以直接上手复现、二次开发。 论文标题VLA-Pruner: Temporal-Aware Dual-Level Visual Token Pruning for Efficient Vision-Language-Action Inference论文原文 | 开源代码 已全部开放可通过下方地址直达论文地址https://arxiv.org/abs/2511.16449开源地址https://github.com/MINT-SJTU/VLA-Pruner【具身智能】学习路线发布扫描下方二维码加群后即可领取学习【具身智能】知识星球优惠券链接https://t.zsxq.com/KVLEe【具身智能】vip 微信交流群成立还有 vip 微信交流群已加入【具身智能】知识星球的同学一定要扫描下方二维码添加具身智能小助手的微信微信号EAI0011她会拉你进【具身智能】 vip 微信交流群还可以第一时间从她的朋友圈获取本星球的所有内容推送更方便大家学习。点击阅读原文加入具身学习群