VLA 图库 / 模型列表 / 自回归与潜在动作VLA

MiniVLA

Stanford(ILIAD) · 2024-12

VLA自回归与潜在动作VLA约1B离散token

将OpenVLA从7B缩小到约1B,并加入VQ动作块和历史输入。

论文

无论文 · 相关 OpenVLA: An Open-Source Vision-Language-Action Model

概述

分类

自回归与潜在动作VLA

类型

VLA

发布

2024-12

机构

Stanford(ILIAD)

权重公开

是

参数

约1B

架构

主干LLM

Qwen2.5 0.5B

视觉编码器

SigLIP + DINOv2

动作头

256-bin token + 残差VQ动作块 (离散token)

动作块

8 (VQ动作块示例)

控制频率

未公开

架构原文摘要

Qwen2.5 0.5B + 与OpenVLA相同的DINOv2+SigLIP ViT;256-bin额外token,残差VQ动作块(例: horizon 8,码本256)

训练

预训练加速器

未公开（README示例为1节点GPU 8张）

预训练时长

未公开

预训练步数·批量

未公开

GPU·TPU-小时

未公开

微调

未公开

数据类型

仿真·合成 + 真实机器人遥操作 + 网络视觉-语言

数据规模

未公开

主要数据集

LIBERO-90, BridgeData V2, LLaVA-1.5-Instruct VQA(基础VLM)

任务·评估

LIBERO-90 82%(VQ h8 + 历史);SimplerEnv 4项任务44–70%;真实Bridge V2

机器人

LIBERO·SimplerEnv仿真,Bridge V2真机数据

推理

推理设备·速度

L40s单张12.5 Hz(OpenVLA 5 Hz)

推理显存

未公开

权重 bf16（计算）

2 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 仅使用模仿学习（行为克隆）

底盘控制

固定 · 无底盘控制（仅机械臂，仿真·Bridge）

备注

核心特点

将OpenVLA从7B缩小到约1B,并加入VQ动作块和历史输入。在L40s上达12.5 Hz,比OpenVLA(5 Hz)快2.5倍。

备注

因无arXiv论文，以Stanford AI Lab博客(2024-12-12)为1次出处。2帧历史输入带来约5%提升。

核验

已确认