VLA 图库 / 模型列表 / 自回归与潜在动作VLA

LAPA

KAIST·University of Washington·Microsoft Research·NVIDIA·Allen Institute for AI · 2024-10

VLA自回归与潜在动作VLA7B潜在动作

从无动作标签的机器人·人类视频中学习潜在动作来预训练VLA。

论文

Latent Action Pretraining from VideosarXiv 2410.11758

概述

分类

自回归与潜在动作VLA

类型

VLA

发布

2024-10

机构

KAIST·University of Washington·Microsoft Research·NVIDIA·Allen Institute for AI

权重公开

是

参数

7B(LWM-Chat-1M)；LAQ规模未公开

架构

主干LLM

LWM-Chat-1M 7B (基于Llama 2 7B)

视觉编码器

LWM视觉tokenizer

动作头

潜在动作token → 动作解码器 (潜在动作)

动作块

未公开

控制频率

未公开

架构原文摘要

LWM-Chat-1M 7B;潜在动作token(LAQ VQ-VAE,词表8·长度4,0.6秒后帧) → 微调中为真实动作

训练

预训练加速器

H100 8张

预训练时长

34 h

预训练步数·批量

batch 128(论文)/256·70K steps(README)

GPU·TPU-小时

272 (明示 · H100-小时)

微调

A100 80GB 4张(README)，训练至动作准确率达95%；时间未公开

数据类型

真实机器人遥操作(不使用动作的视频) + 人类视频

数据规模

OXE 970k演示(不使用动作) + SSv2 220K视频;Bridgev2 60k·LangTable 181k轨迹

主要数据集

Open X-Embodiment, Something-Something V2, BridgeData V2, Language Table

任务·评估

LangTable;SIMPLER(WidowX,多任务100条轨迹微调);真实桌面3项任务;真实平均50.1%(OpenVLA 43.9%)

机器人

LangTable仿真,WidowX(SIMPLER),真实桌面机器人

推理

推理设备·速度

未公开

推理显存

未公开

权重 bf16（计算）

14 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 潜在动作预训练 + 模仿学习微调

底盘控制

固定 · 无底盘控制（桌面机械臂）

备注

核心特点

从无动作标签的机器人·人类视频中学习潜在动作来预训练VLA。声称以272 H100-小时实现比OpenVLA高30~40倍的效率。

备注

30~40倍效率依赖于作者关于H100比A100快2~3倍的假设。LAQ训练算力未公开。

核验

已确认