VLA 图库 / 模型列表 / 参考基线(2024年以前)

RT-2

Google DeepMind · 2023-07

VLA参考基线(2024年以前)55B·5B离散token

将预训练VLM与机器人数据及网络VQA·描述数据联合微调，以文本token输出动作。

论文

RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic ControlarXiv 2307.15818

概述

分类

参考基线(2024年以前)

类型

VLA

发布

2023-07

机构

Google DeepMind

权重公开

否

参数

55B·5B(RT-2-PaLI-X)，12B(RT-2-PaLM-E)；Language-Table用3B(PaLI-3B：ViT-G/14 2B + UL2-3B)

架构

主干LLM

UL2 32B编码器-解码器 (PaLI-X 55B) / PaLM系列 (PaLM-E 12B)

视觉编码器

ViT-22B (PaLI-X) / ViT-4B (PaLM-E)

动作头

8个256区间文本token (离散token)

动作块

无 (单步)

控制频率

1–3 Hz (55B)

架构原文摘要

PaLI-X(ViT-22B + 32B·50层编码器-解码器)或PaLM-E(ViT-4B + 12B解码器);将8个整数动作(6-DoF位移·夹爪·终止)以256区间文本token输出,无动作块

训练

预训练加速器

未公开（使用已有PaLI-X·PaLM-E预训练权重）

预训练时长

未公开

预训练步数·批量

未公开（已有VLM）

GPU·TPU-小时

未公开

微调

加速器·时间未公开；联合微调55B：lr 1e-3·批量2048·80K步，5B：批量2048·270K步，12B：lr 4e-4·批量512·1M步，3B(Language-Table)：批量128·300K步

数据类型

真实机器人遥操作；网络视觉-语言

数据规模

机器人：RT-1数据（13台·17个月，回合数按RT-1论文约 130k）；网络：将WebLI约 10B图像-文本对（109种语言）筛选前10%得1B示例 + 字幕·VQA数据集；机器人占比约 50%（PaLI-X）·约 66%（PaLM-E）

主要数据集

RT-1数据;WebLI;字幕·VQA数据集

任务·评估

真实机器人评估6k次；训练任务200个以上，泛化任务280个以上；Language-Table仿真；涌现能力评估

机器人

与RT-1相同的移动操作机器人(办公室厨房)

推理

推理设备·速度

通过网络查询多TPU云服务；55B 1–3 Hz，5B 约 5 Hz；称无法用机器人机载GPU直接运行

推理显存

未公开

权重 bf16（计算）

110 GB

运行位置

云端

强化学习与底盘

强化学习

未使用 · 机器人·网络数据联合微调（监督学习）

底盘控制

固定 · 无底盘控制（虽为移动操作机器人，但动作仅为EE 6-DoF位移·夹爪·终止）

备注

核心特点

将预训练VLM与机器人数据及网络VQA·描述数据联合微调，以文本token输出动作。其256区间动作token方式被此后众多自回归VLA沿用。

备注

参数(B)为最大变体55B。训练计算量仅以步数×批量公开。原文没有PaLI-X-5B的视觉·语言拆分。

核验

已确认