VLA 图库 / 模型列表 / 自回归与潜在动作VLA

OpenVLA-OFT

Stanford · 2025-02

VLA自回归与潜在动作VLAOpenVLA 7B + 额外279M回归

将OpenVLA微调方案改为并行解码·动作块·L1回归,吞吐量提高26~43倍。

论文

Fine-Tuning Vision-Language-Action Models: Optimizing Speed and SuccessarXiv 2502.19645

概述

分类

自回归与潜在动作VLA

类型

VLA

发布

2025-02

机构

Stanford

权重公开

是

参数

OpenVLA 7B + 额外279M(LIBERO: LoRA 111M·头151M·proprio 17M)/853M(ALOHA OFT+,含FiLM 456M)

架构

主干LLM

Llama 2 7B · OpenVLA

视觉编码器

SigLIP + DINOv2 (600M)

动作头

并行解码 + L1回归MLP (回归)

动作块

8 (LIBERO) · 25 (ALOHA)

控制频率

25 Hz (ALOHA)

架构原文摘要

OpenVLA-7B;并行解码 + 连续动作L1回归(4层MLP头),动作块8(LIBERO)/25(ALOHA),OFT+增加FiLM

训练

预训练加速器

不适用(使用OpenVLA检查点)

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

A100/H100 80GB 8张，50–150K steps，batch 64–128(LIBERO)/共32(ALOHA，每GPU 4)，单次1–2天；最低25.6 GB(LIBERO 1张图像，batch 1)·38.6 GB(ALOHA 3张+FiLM)，推荐44.1 GB(LIBERO 1张，batch 8)·62.5 GB(2张+proprio，batch 8)·73.5 GB(ALOHA，batch 4)；FAQ推荐4张或8张GPU

数据类型

仿真·合成 + 真实机器人遥操作

数据规模

LIBERO每套件约500条演示;ALOHA每任务20/30/45/300条演示

主要数据集

LIBERO,自有ALOHA遥操作

任务·评估

LIBERO平均97.1%(97.6/98.4/97.9/94.5);真实ALOHA 4项任务(fold shorts, fold shirt, scoop X into bowl, put X into pot)

机器人

LIBERO仿真单臂,ALOHA双臂(25 Hz控制)

推理

推理设备·速度

A100 109.7 Hz·0.0729 s(单图像)，增加输入时71.4 Hz；显存约16 GB(LIBERO)/18 GB(ALOHA)

推理显存

约16 GB (LIBERO) · 18 GB (ALOHA)

权重 bf16（计算）

14 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 模仿学习微调（L1回归）

底盘控制

固定 · 无底盘控制（LIBERO单臂·ALOHA固定双臂）

备注

核心特点

将OpenVLA微调方案改为并行解码·动作块·L1回归,吞吐量提高26~43倍。LIBERO平均从76.5%提升到97.1%。

备注

推理时虽不使用token，但作为OpenVLA的标准后续方案收录。参数(B)以OpenVLA 7B为准，不含额外的279M/853M。README警告需在与训练相同的GPU上评估。

核验

已确认