VLA 图库 / 模型列表 / 自回归与潜在动作VLA

UniVLA (OpenDriveLab)

HKU·OpenDriveLab·AgiBot · 2025-05

VLA自回归与潜在动作VLA7B + 动作解码器10.8M潜在动作

分任务无关·任务中心两阶段学习潜在动作，将人类视频和导航数据也用于预训练。

论文

UniVLA: Learning to Act Anywhere with Task-centric Latent ActionsarXiv 2505.06111

概述

分类

自回归与潜在动作VLA

类型

VLA

发布

2025-05

机构

HKU·OpenDriveLab·AgiBot

权重公开

是

参数

7B + 动作解码器10.8M(摘要)/12.6M(正文)/约12M(README)；LoRA时训练参数约123M

架构

主干LLM

Llama 2 7B · Prismatic-7B

视觉编码器

SigLIP + DINOv2 (+ DINOv2潜在动作)

动作头

潜在动作token → 各embodiment专用解码器 (潜在动作)

动作块

12 (真机)

控制频率

未公开

架构原文摘要

Prismatic-7B;基于DINOv2特征的VQ-VAE任务中心潜在动作(码本16, token 4) + 按embodiment的动作解码器,真机动作块12

训练

预训练加速器

A100 32张

预训练时长

约30 h

预训练步数·批量

20,000 steps，batch 1,024(每GPU 32)，lr 2e-5

GPU·TPU-小时

960 (明示 · A100-小时)

微调

LoRA r=32,GPU 8张(README命令);LIBERO 30k–40k steps·CALVIN 100k steps,batch 128;时间未公开

数据类型

真实机器人遥操作(操作) + 真实机器人导航(GNM) + 人类视频

数据规模

未公开（仅混合比例：Fractal 13.9%，Kuka 6.3%，Bridge 6.8%，Ego4D 3.0%等）

主要数据集

OXE子集, GNM, Ego4D

任务·评估

LIBERO平均95.2%(仅Bridge为92.5%);CALVIN;SimplerEnv-Bridge;R2R oracle成功47.1%;真实AgileX 68.9%

机器人

AgileX，LIBERO·CALVIN·SimplerEnv仿真，R2R导航

推理

推理设备·速度

RTX 4090 10 Hz(闭环)

推理显存

未公开

权重 bf16（计算）

14 GB

运行位置

本地PC

强化学习与底盘

强化学习

未使用 · 潜在动作预训练 + 模仿学习微调

底盘控制

仅仿真 (离散移动动作) · 真实机器人为固定Piper机械臂；导航是在R2R VLN-CE仿真智能体上将潜在动作解码为离散移动动作输出

备注

核心特点

分任务无关·任务中心两阶段学习潜在动作，将人类视频和导航数据也用于预训练。预训练耗时960 A100-小时，约为OpenVLA的5%。

备注

仅Bridge·仅人类视频变体为GPU 8张，global batch 258(原文写法)，约200 A100-小时。潜在动作模型为batch 512·100k steps，时间未公开。领域也包含导航(R2R)。与BAAI的UniVLA是不同模型。

核验

已确认