VLA 图库 / 模型列表 / 自回归与潜在动作VLA

RoboFlamingo

ByteDance Research·Tsinghua University·SJTU·NUS · 2023-11

VLA自回归与潜在动作VLAOpenFlamingo 3B/4B/9B回归

冻结VLM，仅训练resampler·交叉注意力·策略头的连续动作VLA。

论文

Vision-Language Foundation Models as Effective Robot ImitatorsarXiv 2311.01378

概述

分类

自回归与潜在动作VLA

类型

VLA

发布

2023-11

机构

ByteDance Research·Tsinghua University·SJTU·NUS

权重公开

是

参数

OpenFlamingo 3B/4B/9B;训练参数1B(Table 2)

架构

主干LLM

MPT·RedPajama系列 · OpenFlamingo 3B/9B

视觉编码器

CLIP ViT-L/14

动作头

LSTM策略头 (连续6-DoF) (回归)

动作块

未公开

控制频率

未公开

架构原文摘要

OpenFlamingo(CLIP ViT-L/14 + MPT·RedPajama LLM) + LSTM策略头;连续动作(6-DoF相对位姿MSE + 夹爪BCE)

训练

预训练加速器

不适用(使用OpenFlamingo VLM权重)

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

1台A100(80G) 8卡服务器，每GPU batch 6；MPT-3B每epoch 13 h(第3个epoch最佳)，MPT-9B每epoch 26 h(第4个epoch最佳)

数据类型

仿真·合成

数据规模

CALVIN play数据，语言标注1%(约24k步)

主要数据集

CALVIN

任务·评估

CALVIN ABCD→D平均长度4.09(HULC 3.06，RT-1 2.45)；ABC→D 2.475(README)

机器人

CALVIN仿真

推理

推理设备·速度

Hz未公开;通过开环动作序列预测节省计算

推理显存

未公开

权重 bf16（计算）

18 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 仅使用模仿学习（行为克隆）

底盘控制

固定 · 无底盘控制（CALVIN机械臂仿真）

备注

核心特点

冻结VLM，仅训练resampler·交叉注意力·策略头的连续动作VLA。无需机器人预训练，用语言标注仅占1%的CALVIN数据训练。

备注

2023-11发布，超出2024~2025范围，但属于分配模型故纳入。为连续回归VLA而非离散token，参数(B)以最大变体9B为准。

核验

已确认