NWM

NWM (Navigation World Models)

Meta FAIR·New York University·UC Berkeley · 2024-12

기타ナビゲーション1B動画world model

ロボットの走行動画と行動で1B条件付き拡散Transformer(CDiT)world modelを学習し、行動シーケンスの未来の映像を想像して目標画像との類似度で軌跡を計画・評価する。

論文

バックボーンLLM: なし
ビジョンエンコーダ: Stable Diffusion VAE (潜在エンコーディング)
アクションヘッド: CEM計画 / NoMaDサンプルランキング (目標類似度エネルギー) (動画world model)
チャンク: 8ステップ行動シーケンス (CEM)
制御周期: 非公開 (蒸留時は軌跡あたり0.4秒)
構造の原文要約: Stable Diffusion VAE潜在 + CDiT-XL(1B): 過去4フレームのコンテキスト、行動(移動・yaw)・時間シフトk・拡散ステップ埋め込みの和をAdaLN条件として未来フレームを生成(デノイジング250ステップ、蒸留時6); 計画: CEMで8ステップ行動系列を最適化(候補N=120)またはNoMaDサンプルのランキング

事前学習アクセラレータ: H100 64枚 (8ノード × 8)
事前学習期間: 非公開
事前学習ステップ・バッチ: 100kステップ (HFカード; Ego4D込み版は200k) · 最終バッチ4,096 (1,024 × 目標4個)
GPU・TPU時間: 非公開
ファインチューニング: 該当なし
データ種類: 実ロボットのテレオペレーション / 実ロボットの自律走行ログ / 人の動画
データ規模: SCAND 8.7h・TartanDrive 5h・RECON 40h・HuRoN 75h以上 + Ego4D動画1,619本・908h以上(行動ラベルなし)
主要データセット: SCAND; TartanDrive; RECON; HuRoN(SACSoN); Ego4D(ラベルなし); 評価はGO Stanford(未知環境)
タスク・評価: RECON計画 ATE 1.13・RPE 0.35 (NoMaD 1.93・0.52); NoMaDサンプル ×32 ランキング ATE 1.78・RPE 0.48 (×16 1.83・0.50); 単一ステップ・軌跡の動画予測(LPIPS・DreamSim・FID)を評価
ロボット: 実ロボット配備なし (オフライン評価); 学習データは複数ロボットの走行動画

推論デバイス・速度: RTX 6000 Adaで軌跡1本のシミュレーション30.3秒 → Time Skip 14.7秒 → 蒸留(250→6デノイジング) 0.4秒; 4-bit量子化の0.1秒は推定値; 2–10 Hzでリアルタイム適用可能と主張
推論メモリ: 非公開
重み bf16(計算): 2 GB
実行場所: 非公開

強化学習: 不使用 · 拡散world modelの教師あり学習 + CEM計画 (RL不使用)
ベース制御: シミュレーションのみ (計画・最適化で移動を決定) · 実ロボットの駆動なし: 記録された走行データ上でworld modelにより(移動・yaw)行動シーケンスをCEM計画、またはNoMaDのサンプルを順位付けしてオフライン評価

主な特徴: ロボットの走行動画と行動で1B条件付き拡散Transformer(CDiT)world modelを学習し、行動シーケンスの未来の映像を想像して目標画像との類似度で軌跡を計画・評価する。RECONで単独計画 ATE 1.13・RPE 0.35とNoMaD(1.93・0.52)より正確で、ラベルなしEgo4D動画の追加で未知環境の予測を改善した。
備考: 学習期間は非公開。HF公開モデルは顔ぼかしデータで再学習されており論文の数値と異なる可能性(ゲート付き、CC BY-NC 4.0)。実ロボット駆動なしでオフライン計画評価のみ実施。総データ時間は記載なし。CVPR 2025 Oral。
検証: 確認