VLA 图库 / 模型列表 / 自回归与潜在动作VLA

UniVLA (BAAI)

CASIA·BAAI·Tsinghua University·HKISI · 2025-06

VLA自回归与潜在动作VLA8.5B离散token

将视觉·语言·动作作为一个离散token序列处理，并用机器人视频进行世界模型后训练。

论文

Unified Vision-Language-Action ModelarXiv 2506.19850

概述

分类

自回归与潜在动作VLA

类型

VLA

发布

2025-06

机构

CASIA·BAAI·Tsinghua University·HKISI

权重公开

是

参数

8.5B(与Emu3相同)

架构

主干LLM

Emu3 (8.5B)

视觉编码器

VQ图像token

动作头

DCT/FAST动作token (视频·动作交错) (离散token)

动作块

未公开

控制频率

未公开

架构原文摘要

基于Emu3的统一自回归模型；VQ图像token(空间压缩8) + DCT/FAST动作token(词表1024)，视频-动作交错序列

训练

预训练加速器

A100(40GB) 32张

预训练时长

约4–5天(以运行50k steps的表述为准)

预训练步数·批量

50k steps(文中为A100 32张)；另一处为30K steps·batch 64；256×256 6帧，最大序列6400

GPU·TPU-小时

未公开

微调

CALVIN·LIBERO batch 192·8k steps(A100)，SimplerEnv batch 128·20k steps·动作块5；GPU数·时间未公开

数据类型

真实机器人遥操作(视频) + 仿真·合成 + 人类视频

数据规模

视频622K(机器人数据集 + SSv2人类视频)

主要数据集

RT-1, BridgeV2, DROID, Kuka, CALVIN, LIBERO, ManiSkill2, SSv2等

任务·评估

CALVIN ABC→D 4.41·ABCD→D 4.63；LIBERO平均95.5%；SimplerEnv-Bridge 69.8%；真机ALOHA

机器人

ALOHA，CALVIN·LIBERO·SimplerEnv仿真

推理

推理设备·速度

未公开

推理显存

未公开

权重 bf16（计算）

17 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 视频·动作生成监督学习

底盘控制

固定 · 机器人实验为固定双臂（ALOHA）；自动驾驶车辆行驶评估另行进行（非机器人底盘）

备注

核心特点

将视觉·语言·动作作为一个离散token序列处理，并用机器人视频进行世界模型后训练。报告CALVIN ABC→D平均长度4.41、LIBERO 95.5%。

备注

预训练栏是在Emu3之上的世界模型后训练阶段(Emu3自身训练算力未公开)。经核实，'4–5天'是50k steps的句子(App A)，'30K steps·batch 64'是另一句(Sec 4.2)，故未合并。所属机构补充为CASIA等。与OpenDriveLab的UniVLA是不同模型。

核验

已反映修正