VLA ギャラリー / モデル一覧 / 参照ベースライン(2024年以前)

RT-2

Google DeepMind · 2023-07

VLA参照ベースライン(2024年以前)55B・5B離散トークン

事前学習済みVLMをロボットデータとWebのVQA・キャプションデータで共同ファインチューニングし、行動をテキストトークンとして出力する。

論文

分類: 参照ベースライン(2024年以前)
タイプ: VLA
発表: 2023-07
機関: Google DeepMind
重み公開: なし
パラメータ: 55B・5B(RT-2-PaLI-X)、12B(RT-2-PaLM-E); Language-Table用 3B(PaLI-3B: ViT-G/14 2B + UL2-3B)

バックボーンLLM: UL2 32Bエンコーダ・デコーダ (PaLI-X 55B) / PaLM系 (PaLM-E 12B)
ビジョンエンコーダ: ViT-22B (PaLI-X) / ViT-4B (PaLM-E)
アクションヘッド: 256区間のテキストトークン8個 (離散トークン)
チャンク: なし (1ステップ)
制御周期: 1–3 Hz (55B)
構造の原文要約: PaLI-X(ViT-22B + 32B・50層エンコーダ-デコーダ)またはPaLM-E(ViT-4B + 12Bデコーダ); 行動8個の整数(6-DoF変位・グリッパー・終了)を256区間のテキストトークンで出力、チャンクなし

事前学習アクセラレータ: 非公開(既存のPaLI-X・PaLM-E事前学習の重みを使用)
事前学習期間: 非公開
事前学習ステップ・バッチ: 非公開(既存VLM)
GPU・TPU時間: 非公開
ファインチューニング: アクセラレータ・時間は非公開; 共同ファインチューニング55B: lr 1e-3・バッチ2048・80Kステップ、5B: バッチ2048・270Kステップ、12B: lr 4e-4・バッチ512・1Mステップ、3B(Language-Table): バッチ128・300Kステップ
データ種類: 実ロボットのテレオペレーション; Web視覚言語
データ規模: ロボット: RT-1データ(13台・17か月、エピソード数はRT-1論文基準で約130k); Web: WebLI 約10B 画像-テキストペア(109言語)を上位10%に絞った1B例 + キャプション・VQAデータセット; ロボット比率約50%(PaLI-X)・約66%(PaLM-E)
主要データセット: RT-1データ; WebLI; キャプション・VQAデータセット
タスク・評価: 実ロボット評価6k回; 学習タスク200個以上、汎化タスク280個以上; Language-Tableシミュレーション; 創発能力の評価
ロボット: RT-1と同じモバイルマニピュレータ(オフィスのキッチン)

推論デバイス・速度: マルチTPUクラウドサービスにネットワーク経由で問い合わせ; 55B 1–3 Hz、5B 約5 Hz; ロボット搭載GPUでは直接実行できないと記述
推論メモリ: 非公開
重み bf16(計算): 110 GB
実行場所: クラウド

主な特徴: 事前学習済みVLMをロボットデータとWebのVQA・キャプションデータで共同ファインチューニングし、行動をテキストトークンとして出力する。256区間の行動トークン方式はその後多くの自己回帰VLAで再利用された。
備考: パラメータ(B)は最大バリアント55B。学習演算はステップ×バッチでのみ公開。PaLI-X-5Bのビジョン・言語の内訳は原文にない。
検証: 確認