RING (The One RING)

Allen Institute for AI·University of Washington · 2024-12

VLAナビゲーション非公開離散トークン

シミュレーションでカメラ位置・画角・衝突体サイズなどをランダム化した100万個のエンボディメントの専門家軌跡で模倣学習した後、DD-PPOでRLファインチューニングし、形状に依存しない屋内物体探索方策を作る。

論文

バックボーンLLM: なし
ビジョンエンコーダ: SigLIP-ViT-B/16 (固定)
アクションヘッド: 線形actor-criticヘッド (離散行動ロジット + 価値) (離散トークン)
チャンク: なし (1ステップ離散行動)
制御周期: 非公開
構造の原文要約: 固定SigLIP-ViT-B/16画像・テキストエンコーダ(768→512射影) → Transformer状態エンコーダ3層 + 因果Transformerデコーダ3層(512次元・8ヘッド、コンテキスト100ステップ) → 線形actor-criticヘッド: 共通離散行動(MoveBase ±20cm、RotateBase ±6°・±30°、Done)

事前学習アクセラレータ: H100 80GB 8枚 (IL)
事前学習期間: 非公開
事前学習ステップ・バッチ: 80k反復 · バッチ240軌跡(表10は224)、コンテキスト100ステップ
GPU・TPU時間: 非公開
ファインチューニング: DD-PPO RL微調整: H100 8枚 × 4台、40Mステップ(並列環境64・ロールアウト128)、時間は非公開
データ種類: シミュレーション・合成
データ規模: ランダムなエンボディメント100万個・ProcTHORの家50kのエキスパート軌跡 (序論は150kの家に言及)
主要データセット: ProcTHOR手続き生成の家 + Objaverse物体 (AI2-THOR); HF allenai/ring-data
タスク・評価: シミュレーションObjectNav 5エンボディメント平均成功率72.1% (FLaRe 44.8%、PoliFormer 55.4%、SPOC-2.3M 35.5%; CHORES-Sで16.7%p向上); 実世界 Stretch 83.3%・Stretch(工場構成) 72.2%・LoCoBot 80.0%・Go1 80.0% (平均78.9%)
ロボット: 実世界: Stretch RE-1(2種類のカメラ構成)・LoCoBot車輪型、Unitree Go1四足、RB-Y1車輪型ヒューマノイド(定性評価); シミュレーション: Stretch・LoCoBot・Unitree A1など

強化学習: 使用 (VLAのRL事後学習) · 専門家軌跡の模倣学習後、DD-PPOで方策自体をRL微調整 (40Mステップ)
強化学習の根拠: https://arxiv.org/html/2412.14401v2
ベース制御: 車輪型·四足歩行 (離散移動行動) · 全エンボディメント共通の離散行動(MoveBase ±20cm・RotateBase ±6°/±30°・Done)を出力すると、ロボット別の下位制御器が実行

主な特徴: シミュレーションでカメラ位置・画角・衝突体サイズなどをランダム化した100万個のエンボディメントの専門家軌跡で模倣学習した後、DD-PPOでRLファインチューニングし、形状に依存しない屋内物体探索方策を作る。シミュレーション5エンボディメントの平均成功率72.1%、実機Stretch RE-1・LoCoBot・Go1など4プラットフォームでゼロショット78.9%を記録した。
備考: リスト外の追加: 2024–2026 クロスエンボディメント・言語目標ナビの汎化方策の代表例。ILバッチは本文240・表10 224、RL lrは本文2e-5・表10 2e-4で不一致。パラメータ・学習時間・推論装置は非公開。HFチェックポイント 587MB(ring_model_step_40356421)。
検証: 確認