NoMaD

UC Berkeley · 2023-10

VAナビゲーション19Mdiffusion

目標画像を確率的に隠す目標マスキングで、目標指向ナビゲーションと目標なし探索を1つの拡散方策で処理する。

論文

バックボーンLLM: なし
ビジョンエンコーダ: EfficientNet-B0 (観測 / 観測+目標)
アクションヘッド: 1D条件付きU-Net拡散ヘッド (K=10) + 時間的距離ヘッド (diffusion)
チャンク: ウェイポイント8個 (公開設定)
制御周期: 非公開 (配備設定 4 Hz)
構造の原文要約: EfficientNet-B0で観測・目標を256次元にトークン化 → Transformer 4層・4ヘッド(目標マスキング p_m=0.5) → 1D条件付きU-Net拡散ヘッド(K=10デノイジング)で将来の行動シーケンスを生成(公開設定でウェイポイント8個) + 時間的距離ヘッド; PD制御器が速度に変換

事前学習アクセラレータ: 非公開 (謝辞にGoogle TPU Research Cloudなどの計算支援のみ言及)
事前学習期間: 非公開
事前学習ステップ・バッチ: 30エポック · バッチ256 (公開nomad.yamlは100エポック)
GPU・TPU時間: 非公開
ファインチューニング: 該当なし
データ種類: 実ロボットのテレオペレーション / 実ロボットの自律走行ログ
データ規模: GNM・SACSoNデータセット100時間以上
主要データセット: GNMデータ混合(RECON、GoStanford、SCAND、TartanDriveなど); SACSoN(HuRoN)
タスク・評価: 実環境の探索成功率98%・衝突0.2回 (Subgoal Diffusion 77%・1.7回、Random Subgoals 70%); 目標条件付きナビゲーション90%; 専用方策比で探索98%(Diffusion Policy 98%)・目標92%(ViNT 92%)
ロボット: LoCoBot 車輪型 (屋内・屋外環境)

推論デバイス・速度: Jetson Orin級のオンボード実行を志向 (論文); READMEの配備例はLoCoBot + Jetson Orin Nano; 拡散10ステップ; 遅延は非公開 (配備ループ4 Hz設定)
推論メモリ: 非公開
重み bf16(計算): 0 GB
実行場所: オンボード Jetson Orin級 (README: Orin Nano)

強化学習: 不使用 · エンドツーエンドの教師あり模倣学習のみ
ベース制御: 車輪型 (ウェイポイント → 追従制御器) · 拡散方策がウェイポイント系列を出力 → PD制御器がベース速度指令に変換 (README)

主な特徴: 目標画像を確率的に隠す目標マスキングで、目標指向ナビゲーションと目標なし探索を1つの拡散方策で処理する。19Mパラメータで335Mのsubgoal拡散方式より探索成功率(98% 対 77%)と衝突(0.2回対 1.7回)を改善した。
備考: 論文に行動シーケンス長・コンテキスト・解像度の記載なし → 公開nomad.yaml基準でウェイポイント8個・コンテキスト3・96×96。学習GPU・時間は非公開。ViNT方策構造に目標マスキングを結合。重みはGoogle Driveで公開。ICRA 2024。ベース: ViNT: A Foundation Model for Visual Navigation (arXiv 2306.14846) — ViNT方策構造に目標マスキング・拡散ヘッドを結合 (論文に明記)
検証: 確認