X-Mobility

NVIDIA·UT Austin·UC Berkeley · 2024-10

VAナビゲーション非公開回帰

自己回帰潜在world modelで環境動力学を先に学習し、その潜在状態の上で行動方策を分離して学習することで、シミュレーションデータのみで汎化するエンドツーエンドのナビゲーションモデルである。

論文

分類: ナビゲーション
タイプ: VA
発表: 2024-10
機関: NVIDIA·UT Austin·UC Berkeley
重み公開: あり
パラメータ: 非公開 (合計は記載なし; 構成要素: 画像エンコーダ 22.1M・状態推定 5.5M・予測 2.3M・融合 28.5M・行動/経路デコーダ各10.5M・セマンティックデコーダ 34.2M・RGB diffuser 962M)

バックボーンLLM: なし
ビジョンエンコーダ: DINOv2 (22.1M、微調整)
アクションヘッド: MLP行動デコーダ: 6次元速度 + 経路5ポーズ (回帰)
チャンク: なし (1ステップ速度; 経路5ポーズを補助)
制御周期: 非公開 (Jetson P50 38.6 ms)
構造の原文要約: DINOv2画像エンコーダ(22.1M) + 速度エンコーダ → GRUベースの潜在状態推定・予測(自己回帰world model) → 経路(route)埋め込みとself-attentionで融合 → MLP: 6次元速度指令(線・角速度) + 経路5ポーズ; 学習時はセマンティック・RGB(LDM)デコーダでworld modelを監督

事前学習アクセラレータ: H100 8枚
事前学習期間: 非公開
事前学習ステップ・バッチ: world model 100エポック(ランダム行動データ) → 方策と同時学習100エポック · バッチ32
GPU・TPU時間: 非公開
ファインチューニング: 該当なし (実ロボット微調整なし)
データ種類: シミュレーション・合成
データ規模: Isaac Sim倉庫4種、5 Hzで記録: Nav2教師100Kフレーム + ランダム行動160Kフレーム
主要データセット: x_mobility_isaac_sim_nav2_100k; x_mobility_isaac_sim_random_160k (HF nvidia/X-Mobilityデータセット)
タスク・評価: Isaac Sim倉庫の成功率96% (BC 92%、Nav2 58%、MILE 34%); ランダム障害物68% (BC 56%、Nav2 34%、MILE 26%); 実機Nova Carterで単一障害物10/10・複数障害物8/9 (通常・暗い照明)
ロボット: NVIDIA Nova Carter 車輪型(実機・シミュレーション)、Forklift 車輪型(Ackermann駆動、シミュレーション); Unitree Go2 四足・G1 ヒューマノイド(シミュレーション、RL歩行方策と結合)

推論デバイス・速度: Jetson AGX Orin: 方策のみP50 38.6 ms・P95 41.96 ms・GPU 594 MB; 方策+セマンティックP50 55.55 ms・804 MB; ONNX・TensorRT変換をサポート(README)
推論メモリ: 594 MB (方策のみ) / 804 MB (方策+セマンティック)
重み bf16(計算): 非公開
実行場所: オンボード Jetson AGX Orin

強化学習: 一部 (RL下位制御器との結合) · シミュレーションのGo2・G1デモでのみIsaac Lab RL歩行方策が速度指令を関節制御に変換; X-Mobility自体はNav2教師の模倣学習
強化学習の根拠: https://arxiv.org/html/2410.17491
ベース制御: 車輪型·四足歩行·ヒューマノイド歩行 (ベース速度・姿勢を直接出力) · 方策が並進速度・角速度指令を直接出力(Nova Carter実機・シミュレーション); Go2・G1はシミュレーションでIsaac Lab RL歩行方策が速度指令を関節制御に変換

主な特徴: 自己回帰潜在world modelで環境動力学を先に学習し、その潜在状態の上で行動方策を分離して学習することで、シミュレーションデータのみで汎化するエンドツーエンドのナビゲーションモデルである。Isaac Simの倉庫で成功率96%(Nav2 58%)を示し、ファインチューニングなしで実機Nova Carterにゼロショット配備した。
備考: 2段階学習(ランダム行動でworld modelを事前学習 → Nav2教師データで方策を追加)。総パラメータ・学習時間は非公開。HFチェックポイント1.44GB(x_mobility-nav2-semantic_action_path.ckpt)、Apache 2.0コード。後続COMPASSの基盤方策。
検証: 修正反映