VLA ギャラリー / モデル一覧 / 参照ベースライン(2024年以前)

RT-2-X

Open X-Embodiment Collaboration(21機関) · 2023-10

VLA参照ベースライン(2024年以前)55B離散トークン

RT-2を元のVLMデータとOXEロボット混合を約1:1で混ぜて共同ファインチューニングした。

論文

Open X-Embodiment: Robotic Learning Datasets and RT-X ModelsarXiv 2310.08864

概要

分類

参照ベースライン(2024年以前)

タイプ

VLA

発表

2023-10

機関

Open X-Embodiment Collaboration(21機関)

重み公開

なし

パラメータ

55B(OXE論文Table IIには5B変形もある)

構造

バックボーンLLM

UL2 32Bエンコーダ・デコーダ (PaLI-X 55B)

ビジョンエンコーダ

ViT (PaLI-X)

アクションヘッド

256区間のテキストトークン (離散トークン)

チャンク

なし (1ステップ)

制御周期

3–10 Hz (ロボット別)

構造の原文要約

ViT + UL2 VLMバックボーン(RT-2方式); 8次元(終了1・末端移動7)256区間テキストトークン

学習

事前学習アクセラレータ

非公開(既存VLMを使用)

事前学習期間

非公開

事前学習ステップ・バッチ

非公開

GPU・TPU時間

非公開

ファインチューニング

非公開; 元のVLMデータとロボットを約1:1で混合した共同ファインチューニング

データ種類

実ロボットのテレオペレーションなど(提供データセットごとに収集方式が異なる); Web視覚言語

データ規模

OXE学習混合(9 embodiment) + 元のVLMデータ、約1:1; OXE全体1M+ 軌跡・22 embodiment

主要データセット

OXEサブセット: RT-1, QT-Opt, Bridge, Task Agnostic Robot Play, Jaco Play, Cable Routing, RoboTurk, NYU VINN, Austin VIOLA, Berkeley Autolab UR5, TOTO, Language Table; 元のVLM学習データ

タスク・評価

ロボット6種で3,600回評価(RT-1-Xと共同); 創発スキルはRT-2比 約3倍

ロボット

学習混合は9個のマニピュレータ(OXE全体22 embodimentのうち); 評価ロボット6種

推論

推論デバイス・速度

クラウドサービスでホスティング・ネットワーク問い合わせ、ロボット別3–10 Hz

推論メモリ

非公開

重み bf16(計算)

110 GB

実行場所

クラウド

強化学習・ベース

強化学習

不使用 · VLM・ロボットデータの共同ファインチューニング(教師あり学習)

ベース制御

固定 · ベース制御なし (行動8次元: 終了 1 + EE移動 7; Googleモバイルロボットも腕のみ)

備考

主な特徴

RT-2を元のVLMデータとOXEロボット混合を約1:1で混ぜて共同ファインチューニングした。創発スキル評価でRT-2の約3倍の性能を示した。

備考

READMEにRT-2-Xのチェックポイントなし。5Bバリアントは検証ノートの新規事実。機関表記の修正を反映。パラメータ(B)は55B。

検証

修正反映