VLA 图库 / 模型列表 / 参考基线(2024年以前)

RT-1

Robotics at Google; Everyday Robots; Google Research(Brain Team) · 2022-12

VA参考基线(2024年以前)35M离散token

不使用预训练VLM、通过FiLM以语言指令为条件的35M真实机器人策略。

论文

RT-1: Robotics Transformer for Real-World Control at ScalearXiv 2212.06817

概述

分类

参考基线(2024年以前)

类型

VA

发布

2022-12

机构

Robotics at Google; Everyday Robots; Google Research(Brain Team)

权重公开

是

参数

35M(分词器16M + Transformer 19M；TokenLearner另计，未注明)

架构

主干LLM

无

视觉编码器

EfficientNet-B3 + TokenLearner (16M)

动作头

256区间离散token (离散token)

动作块

无 (单步)

控制频率

3 Hz

架构原文摘要

FiLM EfficientNet-B3分词器(16M) + TokenLearner + Transformer(self-attention 8层，19M)；按动作维度的256区间离散token(臂7·底盘3·模式)，无动作块，3 Hz

训练

预训练加速器

未公开

预训练时长

未公开

预训练步数·批量

未公开

GPU·TPU-小时

未公开

微调

不适用(单阶段训练)

数据类型

真实机器人遥操作

数据规模

约130k条演示(机器人13台，17个月)；数据混合实验中另加仿真成功轨迹518k、Kuka QT-Opt 209k个episode

主要数据集

RT-1自行采集数据;混合实验: 仿真, Kuka QT-Opt

任务·评估

真实机器人试验3,000次以上；训练任务200个以上，指令744条；未见指令21条，保留任务53个，长时程指令15条

机器人

移动操作机器人 13台（办公室厨房；机械臂 7变量·底盘 3变量）

推理

推理设备·速度

3 Hz控制，推理预算不足100 ms；推理硬件未公开

推理显存

未公开

权重 bf16（计算）

0.1 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 模仿学习（行为克隆）。在数据混合实验中尝试混入RL策略QT-Opt用Kuka机器人收集的209k条回合

底盘控制

轮式 (直接输出底盘速度/位姿) · 策略以256区间离散token直接输出底盘x·y·yaw移动 (用模式token切换手臂·底盘·结束)

备注

核心特点

不使用预训练VLM、通过FiLM以语言指令为条件的35M真实机器人策略。凭借离散动作token和13台机器人·17个月的遥操作数据，成为此后RT系列的基准。

备注

笔记分类为VA（虽为语言条件但无预训练VLM）。训练算力在任何一手来源中都没有，因此二手来源的算力数字视为无依据。公开检查点 rt1main·rt1multirobot·rt1simreal（Apache）。

核验

已确认