MoManipVLA

Beijing University of Posts and Telecommunications·Nanyang Technological University·Tsinghua University · 2025-03

VLA移动操作7B离散token

通过双层优化寻找能使固定底盘预训练VLA输出的末端waypoint可实现的底盘waypoint，将VLA迁移到移动操作。

论文

分类: 移动操作
类型: VLA
发布: 2025-03
机构: Beijing University of Posts and Telecommunications·Nanyang Technological University·Tsinghua University
权重公开: 否
参数: 7B (OpenVLA-7B)

主干LLM: Llama 2 7B · OpenVLA-7B配置
视觉编码器: DINOv2 + SigLIP (OpenVLA内置)
动作头: OpenVLA动作token → 末端waypoint;底盘waypoint·末端轨迹由双层优化决定 (离散token)
动作块: 未公开
控制频率: 未公开 (真实环境每步约 0.58–0.59秒)
架构原文摘要: OpenVLA-7B(LoRA微调)由RGB·手臂本体感知·语言指令预测末端waypoint → 双层(bi-level)优化: 上层选底盘waypoint,下层选末端轨迹(可达性·平滑性·碰撞代价λ 10.0·1.0·0.6,Dual Annealing + SLSQP) → 手臂关节用Pinocchio IK;动作块·频率未公开

预训练加速器: 不适用 (使用公开的OpenVLA-7B)
预训练时长: 不适用
预训练步数·批量: 不适用
GPU·TPU-小时: 未公开
微调: RTX 3090 4张, LoRA 10K epoch(仿真演示200回合),时间·批量未公开;真实环境用50条专家回合微调
数据类型: 仿真·合成 / 真实机器人遥操作†
数据规模: 仿真pick-and-place演示200个episode(用OVMM启发式基线采集)；真实环境专家episode 50个
主要数据集: OVMM仿真专家轨迹(自行采集)
任务·评估: OVMM(仿真场景60个)成功率15.8%·部分成功49.4% (KUZHUM 11.6%·38.2%,UniTeam 9.2%,OVMM RL 1.2%);真实环境3项任务各10次: Stack Block 30%,Open Drawer 10%,Put in Bowl 40%
机器人: 仿真Hello Robot Stretch(OVMM)；真实hexman echo plus轮式底盘 + RM65机械臂，用RealSense T265跟踪底盘位姿

强化学习: 未使用 · 模仿学习（OpenVLA LoRA微调）+ 非学习优化
底盘控制: 轮式 (由规划/优化决定移动) · 以双层优化计算底盘waypoint驱动平移·旋转，固定底盘用VLA输出末端waypoint，机械臂以IK跟踪

核心特点: 通过双层优化寻找能使固定底盘预训练VLA输出的末端waypoint可实现的底盘waypoint，将VLA迁移到移动操作。在OVMM上成功率15.8%，比此前最佳(11.6%)高4.2个百分点，真实环境部署仅用了50个专家回合。
备注: 底盘不由学习策略而由优化驱动（学习部分为OpenVLA LoRA适配）。摘要中的'50 training cost'按正文为专家回合50个，项目页面标注为'50% training cost'。真实数据采集方式未注明。表2延迟693.1未注明单位。代码'Coming Soon'（2026-10确认），权重未公开。CVPR 2025。基于：OpenVLA: An Open-Source Vision-Language-Action Model (arXiv 2406.09246) — 将预训练OpenVLA-7B用作末端waypoint生成器
核验: 已确认