VLA 图库 / 模型列表 / 参考基线(2024年以前)

RT-1-X

Open X-Embodiment Collaboration(21个机构) · 2023-10

VA参考基线(2024年以前)35M离散token

以OXE 9个embodiment混合数据训练RT-1结构的跨embodiment模型。

论文

Open X-Embodiment: Robotic Learning Datasets and RT-X ModelsarXiv 2310.08864

概述

分类

参考基线(2024年以前)

类型

VA

发布

2023-10

机构

Open X-Embodiment Collaboration(21个机构)

权重公开

是

参数

35M

架构

主干LLM

无

视觉编码器

EfficientNet-B3 + TokenLearner

动作头

256区间离散token (离散token)

动作块

无 (单步)

控制频率

3–10 Hz (因机器人而异)

架构原文摘要

RT-1结构(FiLM EfficientNet-B3 + TokenLearner + Transformer);8维(终止1·末端移动7) 256区间token

训练

预训练加速器

未公开

预训练时长

未公开

预训练步数·批量

未公开

GPU·TPU-小时

未公开

微调

未公开

数据类型

真实机器人遥操作等(各贡献数据集采集方式不同)

数据规模

OXE 1M+真机轨迹,22个embodiment,60个数据集(34个实验室),527项技能(160,266项任务);训练混合为9个embodiment

主要数据集

OXE子集: RT-1, QT-Opt, Bridge, Task Agnostic Robot Play, Jaco Play, Cable Routing, RoboTurk, NYU VINN, Austin VIOLA, Berkeley Autolab UR5, TOTO, Language Table

任务·评估

6种机器人 3,600次评估；小规模数据领域平均成功率比原方法·RT-1高50%

机器人

训练混合9种操作臂(OXE全部22个embodiment中)；评估机器人6种

推理

推理设备·速度

各机器人 3–10 Hz，RT-1-X本地运行

推理显存

未公开

权重 bf16（计算）

0.1 GB

运行位置

本地PC

强化学习与底盘

强化学习

未使用 · 模仿学习。训练混合中包含QT-Opt（由RL策略采集）数据集

底盘控制

固定 · 无底盘控制（动作 8维：终止 1 + EE移动 7；Google移动机器人也仅为机械臂）

备注

核心特点

以OXE 9个embodiment混合数据训练RT-1结构的跨embodiment模型。在小规模数据领域,平均成功率比原方法和RT-1高50%。

备注

公开TF·JAX检查点(open_x_embodiment README)。机构标注由'Google DeepMind + 21个机构'修正为21个机构协作整体。

核验

已反映修正