VLA 图库 / 模型列表 / 自回归与潜在动作VLA

OpenVLA

Stanford·UC Berkeley·TRI·Google DeepMind·Physical Intelligence·MIT · 2024-06

VLA自回归与潜在动作VLA7B离散token

用OXE 970k轨迹训练的开源7B VLA,ECoT·TraceVLA·OpenVLA-OFT·UniVLA等均基于此技术栈。

论文

OpenVLA: An Open-Source Vision-Language-Action ModelarXiv 2406.09246

概述

分类

自回归与潜在动作VLA

类型

VLA

发布

2024-06

机构

Stanford·UC Berkeley·TRI·Google DeepMind·Physical Intelligence·MIT

权重公开

是

参数

7B(论文)/7.5B(README)；Table 1 Full FT 7,188.1M；视觉600M + Llama 2 7B

架构

主干LLM

Llama 2 7B · Prismatic-7B

视觉编码器

SigLIP + DINOv2 (600M)

动作头

7个256-bin离散token (离散token)

动作块

无 (单步)

控制频率

未公开

架构原文摘要

Prismatic-7B(SigLIP+DINOv2 600M → 2层MLP → Llama 2 7B);每个动作维度256-bin离散token(词表最后256个),无动作块,224×224输入

训练

预训练加速器

A100 64张

预训练时长

14天(论文)/15天(项目页)

预训练步数·批量

27 epochs，batch 2048，lr 2e-5固定(公开检查点名为step-295000-epoch-40)

GPU·TPU-小时

21,500 (明示 · A100-小时)

微调

LoRA r=32(训练1.4%参数): A100单张10–15 h(最少约27 GB;batch 16为59.7 GB(论文)/约72 GB(README));全量FT: A100 8张(FSDP)每任务5–15 h

数据类型

真实机器人遥操作

数据规模

970k条轨迹

主要数据集

OXE 'Open-X Magic Soup++'(Fractal 12.7%, Kuka 12.7%, Bridge 13.3%, DROID 10.0%等);DROID在训练最后1/3中被排除

任务·评估

BridgeData V2 WidowX·Google机器人泛化评估；Franka-Tabletop·Franka-DROID微调(10–150条演示)；LIBERO平均76.5%(84.7/88.4/79.2/53.7)

机器人

WidowX，Google机器人，Franka

推理

推理设备·速度

RTX 4090约6 Hz, bf16 15 GB;int8 10.2 GB·A5000 1.2 Hz;int4 7.0 GB·A5000 3 Hz;A100 4.2 Hz(二手, OpenVLA-OFT测量)

推理显存

bf16 15 GB · int8 10.2 GB · int4 7.0 GB (论文)

权重 bf16（计算）

14 GB

运行位置

本地PC

强化学习与底盘

强化学习

未使用 · 动作token预测模仿学习

底盘控制

固定 · 无底盘控制（仅机械臂：7维EE位移·夹爪）

备注

核心特点

用OXE 970k轨迹训练的开源7B VLA,ECoT·TraceVLA·OpenVLA-OFT·UniVLA等均基于此技术栈。明确给出预训练算力为21,500 A100-小时。

备注

训练时长论文为14天，项目页面为15天，二者不同。Table 1中Full FT 163.3 GB为batch 16用FSDP分到2张GPU的合计。未能核实LIBERO微调附录(App E)。参数(B)为论文值7B。

核验

已确认