RT-H

Google DeepMind·Stanford University · 2024-03

VLA産業界モデル55B離散トークン

一つのモデルが'move arm forward'のようなlanguage motionを先に予測してから行動を予測する階層型VLAである。

論文

バックボーンLLM: UL2 32B · PaLI-X 55B構成
ビジョンエンコーダ: ViT (PaLI-X)
アクションヘッド: language motion → 行動トークン (離散トークン)
チャンク: 非公開
制御周期: 非公開
構造の原文要約: PaLI-X 55B(ViTエンコーダ + エンコーダ-デコーダ)単一モデル; language motionを問い合わせた後に行動を問い合わせ、行動空間はend-effectorのdelta位置・回転、グリッパー、ベース移動

事前学習アクセラレータ: 非公開
事前学習期間: 非公開
事前学習ステップ・バッチ: batch 1024、lr 1e-3(PaLI-X学習混合とco-training; ステップは非公開)
GPU・TPU時間: 非公開
ファインチューニング: 非公開(介入学習はタスクあたり修正 30 episodes)
データ種類: 実ロボットのデモ + Web視覚言語(PaLI-Xの学習混合)
データ規模: Kitchen 70K demos(6 semantic task categories); Diverse+Kitchen 100K demos(24 categories); 自動ラベルのlanguage motion 2,500個以上
主要データセット: 独自のKitchen・Diverseデモデータ、PaLI-X training mixture
タスク・評価: 8課題平均でRT-2比+15%; 介入学習で40%→63%; RT-2-IWRを50%上回る; 新物体65%(RT-2 55%)
ロボット: モバイルマニピュレーター(プラットフォーム名は未確認)

強化学習: 不使用 · 模倣学習 + 人によるlanguage motion修正データ
ベース制御: 車輪型 (ベース速度・姿勢を直接出力) · 方策行動9次元のうちベース移動2次元を直接出力 (言語モーション'turn base left'など)

主な特徴: 一つのモデルが'move arm forward'のようなlanguage motionを先に予測してから行動を予測する階層型VLAである。人がlanguage motionレベルで介入して修正し、その修正データで再学習する。
備考: 論文にTPU・GPUの記述なし。arXiv v1 2024-03-04。所属はGoogle DeepMindとStanford University。
検証: 確認