NavDP

Shanghai AI Laboratory·Tsinghua University·Zhejiang University·The University of Hong Kong · 2025-05

VAナビゲーション非公開diffusion

シミュレーションデータのみで、RGB-D観測からの軌跡生成(diffusion)と軌跡評価(critic)を一つのTransformerで同時に学習し、criticはシミュレーションの特権情報(大域ESDF)で作った対照負例軌跡で学習する。

論文

分類: ナビゲーション
タイプ: VA
発表: 2025-05
機関: Shanghai AI Laboratory·Tsinghua University·Zhejiang University·The University of Hong Kong
重み公開: あり
パラメータ: 非公開

バックボーンLLM: なし
ビジョンエンコーダ: DepthAnything ViT (RGB、事前学習) + スクラッチViT (深度)
アクションヘッド: ウェイポイントdiffusionヘッド (条件付きU-Net・DDPM) + criticによる選択 (diffusion)
チャンク: ウェイポイント24個
制御周期: >10 Hz
構造の原文要約: RGBは事前学習DepthAnything ViT、深度はスクラッチViTでエンコード → TransformerデコーダがRGB-D 512トークンを16個の融合トークンに圧縮 → 2層Transformerエンコーダ(方策・critic共有) → 条件付きU-Net・DDPM diffusionヘッドが24ステップのウェイポイント(Δx,Δy,Δω)をバッチ生成、critic(軌跡は1D convでエンコード)がスコア付けして最良軌跡を選択; 軌跡の中間点×比例係数で線速度・角速度を算出、>10 Hz

事前学習アクセラレータ: 非公開
事前学習期間: 非公開
事前学習ステップ・バッチ: 非公開
GPU・TPU時間: 非公開
ファインチューニング: real-to-simデータ(3DGSによる実験室再構成、約4k軌跡)の追加学習: 方式・アクセラレータ・時間は非公開
データ種類: シミュレーション・合成
データ規模: 軌跡56,000件以上・RGB-D画像1,000万枚・363.2 km・1,244シーン(本文; arXiv要旨メタデータでは'100万 m以上・3,000シーン'); GPUあたり1日約2,500軌跡を生成; real-to-simは約4k軌跡
主要データセット: 独自のシミュレーション生成データ(3D-Front 1,176件・Matterport3D 68シーン); 3DGSによる実験室再構成(real-to-sim)
タスク・評価: 独自のIsaacSimベンチ(Dingo・Go2・R1) PointNavシミュレーションSR 81.3/83.0/75.0%、シミュレーション・real-to-sim 6設定の平均mSR 70.4・mSPL 58.6(ViPlanner 65.6・55.4); 目標なし探索・ImageNav; 実ロボットでゼロショット、in-domain real-to-simデータ追加時に実環境成功率50%→80%; シミュレーションの目標なし探索面積 Dingo 280.2・Go2 359.1・R1 300.4 (NoMaD 119.2・36.9・57.9、ViNT 38.4・37.7・61.3)
ロボット: 実ロボット Unitree Go2四足、Galaxea R1、Unitree G1ヒューマノイド; シミュレーション ClearPath Dingo(2輪差動)・Go2・R1

推論デバイス・速度: GeForce RTX 5080ノートPC GPUで>10 Hzのリアルタイム推論; ロボット最大2.0 m/s; 遅延(ms)・メモリは非公開
推論メモリ: 非公開
重み bf16(計算): 非公開
実行場所: RTX 5080ノートPC GPU

強化学習: 一部 (RL下位制御器との結合) · NavDP自体は模倣学習(diffusion) + シミュレーション特権情報(大域ESDF)に基づくcriticの教師あり学習; シミュレーションのGo2四足はRLで学習した歩行方策が軌跡を追従
強化学習の根拠: https://arxiv.org/html/2505.08712v3
ベース制御: 車輪型·四足歩行·ヒューマノイド歩行 (ウェイポイント → 追従制御器) · 方策が24ステップのウェイポイントを出力 → 軌跡中間点×比例係数で並進速度・角速度に変換しベース指令

主な特徴: シミュレーションデータのみで、RGB-D観測からの軌跡生成(diffusion)と軌跡評価(critic)を一つのTransformerで同時に学習し、criticはシミュレーションの特権情報(大域ESDF)で作った対照負例軌跡で学習する。実ロボットデータなしで四足・車輪型・ヒューマノイドにゼロショット転移し、Gaussian Splattingによるreal-to-simデータ(約4k軌跡)を加えると実環境の成功率が50%から80%に上がる。
備考: 学習GPU・時間・ステップ・バッチ・パラメータ数すべて非公開(本文・付録)。データ規模の矛盾: 本文・PDF・HF要旨は363.2 km・1,244シーン、現在のarXiv要旨メタデータは「100万m以上・3,000シーン」。チェックポイントはGoogle Form申請後に提供(README上InternVLA-N1 System-1モデル)、コードCC BY-NC-SA 4.0。RL事後学習版X-NavDP(2607.28560)は別論文。
検証: 修正反映