VLA 图库 / 模型列表 / 参考基线(2024年以前)

RT-2-X

Open X-Embodiment Collaboration(21个机构) · 2023-10

VLA参考基线(2024年以前)55B离散token

将RT-2与原VLM数据和OXE机器人混合以约1:1混合进行联合微调。

论文

Open X-Embodiment: Robotic Learning Datasets and RT-X ModelsarXiv 2310.08864

概述

分类

参考基线(2024年以前)

类型

VLA

发布

2023-10

机构

Open X-Embodiment Collaboration(21个机构)

权重公开

否

参数

55B(OXE论文Table II中也有5B变体)

架构

主干LLM

UL2 32B编码器-解码器 (PaLI-X 55B)

视觉编码器

ViT (PaLI-X)

动作头

256区间文本token (离散token)

动作块

无 (单步)

控制频率

3–10 Hz (因机器人而异)

架构原文摘要

ViT + UL2 VLM主干(RT-2方式)；8维(终止1·末端移动7) 256区间文本token

训练

预训练加速器

未公开（使用已有VLM）

预训练时长

未公开

预训练步数·批量

未公开

GPU·TPU-小时

未公开

微调

未公开；原VLM数据与机器人数据约 1:1 联合微调

数据类型

真实机器人遥操作等(各贡献数据集采集方式不同)；网络视觉-语言

数据规模

OXE训练混合(9个embodiment) + 原VLM数据,约1:1;OXE全部1M+轨迹·22个embodiment

主要数据集

OXE子集: RT-1, QT-Opt, Bridge, Task Agnostic Robot Play, Jaco Play, Cable Routing, RoboTurk, NYU VINN, Austin VIOLA, Berkeley Autolab UR5, TOTO, Language Table;原VLM训练数据

任务·评估

6种机器人 3,600次评估（与RT-1-X共同）；涌现技能约为RT-2的3倍

机器人

训练混合9种操作臂(OXE全部22个embodiment中)；评估机器人6种

推理

推理设备·速度

云服务托管·网络查询，每台机器人3–10 Hz

推理显存

未公开

权重 bf16（计算）

110 GB

运行位置

云端

强化学习与底盘

强化学习

未使用 · VLM·机器人数据联合微调(监督学习)

底盘控制

固定 · 无底盘控制（动作 8维：终止 1 + EE移动 7；Google移动机器人也仅为机械臂）

备注

核心特点

将RT-2与原VLM数据和OXE机器人混合以约1:1混合进行联合微调。在涌现技能评估中表现约为RT-2的3倍。

备注

README中无RT-2-X检查点。5B变体为核验笔记中的新事实。已反映机构标注修正。参数(B)为55B。

核验

已反映修正