VLA ギャラリー / モデル一覧 / 参照ベースライン(2024年以前)

RT-1-X

Open X-Embodiment Collaboration(21機関) · 2023-10

VA参照ベースライン(2024年以前)35M離散トークン

RT-1構造をOXE 9 embodimentの混合データで学習したクロスembodimentモデルである。

論文

Open X-Embodiment: Robotic Learning Datasets and RT-X ModelsarXiv 2310.08864

概要

分類

参照ベースライン(2024年以前)

タイプ

VA

発表

2023-10

機関

Open X-Embodiment Collaboration(21機関)

重み公開

あり

パラメータ

35M

構造

バックボーンLLM

なし

ビジョンエンコーダ

EfficientNet-B3 + TokenLearner

アクションヘッド

256区間の離散トークン (離散トークン)

チャンク

なし (1ステップ)

制御周期

3–10 Hz (ロボット別)

構造の原文要約

RT-1構造(FiLM EfficientNet-B3 + TokenLearner + Transformer); 8次元(終了1・手先移動7)の256区間トークン

学習

事前学習アクセラレータ

非公開

事前学習期間

非公開

事前学習ステップ・バッチ

非公開

GPU・TPU時間

非公開

ファインチューニング

非公開

データ種類

実ロボットのテレオペレーションなど(提供データセットごとに収集方式が異なる)

データ規模

OXE 1M+ 実ロボット軌跡、22 embodiment、60データセット(34研究室)、527スキル(160,266タスク); 学習混合は9 embodiment

主要データセット

OXEサブセット: RT-1, QT-Opt, Bridge, Task Agnostic Robot Play, Jaco Play, Cable Routing, RoboTurk, NYU VINN, Austin VIOLA, Berkeley Autolab UR5, TOTO, Language Table

タスク・評価

ロボット6種で3,600回評価; 小規模データドメインの平均成功率が元の手法・RT-1より50%高い

ロボット

学習混合は9個のマニピュレータ(OXE全体22 embodimentのうち); 評価ロボット6種

推論

推論デバイス・速度

ロボット別 3–10 Hz、RT-1-Xはローカル実行

推論メモリ

非公開

重み bf16(計算)

0.1 GB

実行場所

ローカルPC

強化学習・ベース

強化学習

不使用 · 模倣学習。学習混合にQT-Opt(RL方策が収集)データセットを含む

ベース制御

固定 · ベース制御なし (行動8次元: 終了 1 + EE移動 7; Googleモバイルロボットも腕のみ)

備考

主な特徴

RT-1構造をOXE 9 embodimentの混合データで学習したクロスembodimentモデルである。小規模データのドメインで元の手法やRT-1より平均成功率が50%高かった。

備考

TF・JAXチェックポイント公開(open_x_embodiment README)。機関表記を「Google DeepMind + 21機関」から21機関の協働全体へ修正して反映。

検証

修正反映