VLA 图库 / 模型列表 / 人形机器人VLA

WholeBodyVLA

Fudan University·OpenDriveLab & MMLab(HKU)·AgiBot·SII · 2025-12

VLA人形机器人VLA基于Prismatic-7B潜在动作

通过从无动作标签的低成本第一人称视频中学习的统一潜在学习，实现大空间移动操作(loco-manipulation)。

论文

WholeBodyVLA: Towards Unified Latent VLA for Whole-Body Loco-Manipulation ControlarXiv 2512.11047

概述

分类

人形机器人VLA

类型

VLA

发布

2025-12

机构

Fudan University·OpenDriveLab & MMLab(HKU)·AgiBot·SII

权重公开

未核实

参数

基于Prismatic-7B (总量未公开)

架构

主干LLM

Llama 2 7B · Prismatic-7B配置

视觉编码器

DINOv2 LAM + Prismatic视觉

动作头

潜在动作解码器 (操作·行走) (潜在动作)

动作块

未公开

控制频率

未公开

架构原文摘要

Prismatic-7B VLA + 基于DINOv2的VQ-VAE潜在动作模型(操作·行走LAM分离);以约10 Hz将潜在动作解码为双臂关节动作和行走指令,行走指令由LMO RL策略以50 Hz执行

训练

预训练加速器

H100 × 8 (LAM·VLA);LMO RL为H100 × 1

预训练时长

未公开

预训练步数·批量

VLA 20,000步 · 批量1,024；LAM 30,000步 · 批量256

GPU·TPU-小时

未公开

微调

10,000步 · 批量64 (GPU为H100 × 8，文中所述范围)，时间未公开

数据类型

人类视频 / 真实机器人遥操作

数据规模

第一人称行走视频约300小时；AgiBot World操作数据(规模未公开)；遥操作每任务50次

主要数据集

自行采集第一人称行走视频，AgiBot World

任务·评估

Bag Packing·Box Loading·Cart Pushing平均78.0%；比此前基线高21.3%

机器人

AgiBot X2(7-DoF臂 + Omnipicker夹爪，6-DoF腿，1-DoF腰)

推理

推理设备·速度

VLA在RTX 4090工作站(约10 Hz)，LMO RL在NanoPi机载(50 Hz)

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

本地PC（VLA）+ 机载（LMO）

强化学习与底盘

强化学习

部分 (结合RL底层控制器) · VLA为潜在动作监督学习，行走指令由LMO RL策略执行(单张H100训练)

底盘控制

人形双足 (指令/潜变量 → RL行走控制器) · VLA输出上身关节角 + 行走指令(前后·左右·旋转3轴离散指令 + 姿态高度) → LMO RL策略输出下身扭矩(50 Hz)

备注

核心特点

通过从无动作标签的低成本第一人称视频中学习的统一潜在学习，实现大空间移动操作(loco-manipulation)。比现有基线高21.3%。

备注

微调设置和部署硬件在核查中修正了笔记的'未公开'，LAM设置为NEW。数据时长300仅为行走视频。参数(B)因总参数未公开而为null。LMO的模拟器·env·时长未公开。

核验

已反映修正