COMPASS

NVIDIA·UC Berkeley·UT Austin · 2025-02

VAナビゲーション非公開RL方策

模倣学習ベースの方策の上にエンボディメント別の残差RLエキスパートを学習した後、それをエンボディメント条件付きの単一方策に蒸留し、車輪型・四足・ヒューマノイドのナビゲーションを統合する。

論文

バックボーンLLM: なし
ビジョンエンコーダ: DINOv2 (X-Mobilityエンコーダ)
アクションヘッド: ガウシアンMLP方策 (平均 + 大域分散) → 速度指令 (RL方策)
チャンク: なし (1ステップ)
制御周期: 非公開 (Jetson P50 29.3 ms)
構造の原文要約: 固定X-Mobility(DINOv2・潜在world model)ベースの方策 + エンボディメント別残差RL(PPO)エキスパート → ワンホットエンボディメント埋め込み条件付きMLP generalistへ蒸留(平均予測 + 大域分散); 出力は速度指令(v, ω)、脚型はRL歩行方策が関節を制御

事前学習アクセラレータ: 該当なし (X-Mobility事前学習チェックポイントを再利用)
事前学習期間: 該当なし
事前学習ステップ・バッチ: 該当なし
GPU・TPU時間: 非公開
ファインチューニング: 残差RL: L40 2枚・並列環境64個・専門家あたり1,000エピソード(Carter 300); 蒸留: H100 4枚; 時間は非公開
データ種類: シミュレーション・合成
データ規模: 蒸留データ: エンボディメントあたり320軌跡 × 128ステップ ≈ 40kフレーム (HFカード: 計160,000フレーム)
主要データセット: Isaac Lab倉庫・オフィス環境の残差RLエキスパートのロールアウト
タスク・評価: Isaac Lab 4環境×640回: Combined成功率 X-Mobility→generalist Carter 50.3→85.3%、H1 22.0→84.4%、Spot 11.7→77.9%、G1 10.0→90.6%; エキスパートは成功率5–40倍・加重移動時間で平均3倍改善
ロボット: シミュレーション: Nova Carter車輪型、Unitree H1・G1ヒューマノイド、Spot四足; 実ロボット(v3): Carter・Unitree G1 (Jetson Orin、ランダム障害物20回で成功率約80%)

強化学習: 使用 (VLAのRL事後学習) · X-Mobility(模倣学習)方策の上でエンボディメント別の残差PPOにより方策自体をRLファインチューニングした後、generalistへ蒸留; 脚型は下位のRL歩行方策も結合
強化学習の根拠: https://arxiv.org/html/2502.16372
ベース制御: 車輪型·四足歩行·ヒューマノイド歩行 (ベース速度・姿勢を直接出力) · generalist方策が速度指令(v, ω)を出力 → Carterは直接駆動、H1・G1・SpotはIsaac Lab RL歩行方策が関節を制御 (シミュレーション)

主な特徴: 模倣学習ベースの方策の上にエンボディメント別の残差RLエキスパートを学習した後、それをエンボディメント条件付きの単一方策に蒸留し、車輪型・四足・ヒューマノイドのナビゲーションを統合する。シミュレーションベンチでX-Mobility比で成功率を約5倍に高め(例: H1 22.0%→84.4%)、Jetson AGX Orinで29 msで動作する。
備考: 初期版は実世界デプロイを図1のキャプションでのみ言及しSim2Realを今後の課題としたが、v3(2025-10)でCarter・Unitree G1実ロボットデプロイ(Jetson Orin、20回で成功率約80%)を追加。HF(nvidia/COMPASS、ゲート付き)にCarter用ONNX・JIT方策とGR00T事後学習資料を公開、マルチエンボディメントgeneralistチェックポイントはファイル一覧で確認できず。蒸留データでGR00T VLAにナビゲーション機能を付けるワークフローを提供(公式ドキュメント)。パラメータ・学習時間は非公開。NVIDIA Open Model License。ベース: X-MOBILITY: End-To-End Generalizable Navigation via World Modeling (arXiv 2410.17491) — X-Mobilityをベース方策として固定して使用 (論文・HFカードに明記)
検証: 修正反映