VLA ギャラリー / モデル一覧 / ナビゲーション

NavFoM

Peking University·Galbot·USTC·BAAI·University of Adelaide·Zhejiang University·Differential Robotics · 2025-09

VLAナビゲーション7B回帰

四足・ドローン・車輪型・車両など複数のエンボディメントと、VLN・物体探索・追跡・自動運転タスクを一つのモデルで学習したナビゲーション基盤モデルで、視点・時間指示トークンとトークン予算に基づく履歴サンプリングを導入した。

論文

Embodied Navigation Foundation ModelarXiv 2509.12129

概要

分類

ナビゲーション

タイプ

VLA

発表

2025-09

機関

Peking University·Galbot·USTC·BAAI·University of Adelaide·Zhejiang University·Differential Robotics

重み公開

なし

パラメータ

7B (Qwen2-7Bベース; 全体の数値は記載なし)

構造

バックボーンLLM

Qwen2-7B

ビジョンエンコーダ

DINOv2 + SigLIP

アクションヘッド

3層MLP計画ヘッド: ウェイポイント8個 (x, y, z, θ) + 言語ヘッド(QA) (回帰)

チャンク

ウェイポイント8個

制御周期

軌跡あたり最大0.5秒 (1,600トークン予算)

構造の原文要約

DINOv2 + SigLIPデュアルビジョンエンコーダ(粗・細トークン、フレームあたり576パッチ) + 2層MLPプロジェクタ + Qwen2-7B; 視点・時間指示(TVI)トークンとトークン予算ベースの時間サンプリング(BATS、予算1,600–2,048); 3層MLP計画ヘッドがウェイポイント8個(x, y, z, θ)を回帰、QAは言語ヘッド; 1–8台のカメラ入力

学習

事前学習アクセラレータ

H100 56枚

事前学習期間

約72時間

事前学習ステップ・バッチ

1エポック (バッチ・学習率非公開)

GPU・TPU時間

4,032 (明示 · H100時間 ("a total of 4,032 GPU hours"))

ファインチューニング

該当なし (タスク別微調整なし)

データ種類

シミュレーション・合成 / Web動画 / 実ロボットの自律走行ログ / Web視覚言語

データ規模

計12.7Mインスタンス: ナビゲーション8.02M(VLN 3.37M・ObjectNav 1.02M・能動視覚追跡897K・自動運転681K・Web動画ナビゲーション2.03M) + 画像QA 3.15M + 動画QA 1.61M

主要データセット

VLN-CE R2R・RxR; OpenUAV(429K); HM3D ObjectNav(L3MVN成功エピソード); EVT-Bench; nuScenes(27K)・OpenScene(654K)の車両走行データ; Sekai(YouTube動画約182K、VLM・SLAMによる疑似ラベル)

タスク・評価

R2R-CE SR 61.7%・SPL 55.3%(4ビュー)/56.2%(単一ビュー); RxR-CE SR 64.4%(4ビュー)/57.4%(単一ビュー); HM3D-OVON ゼロショット val-unseen SR 45.2%; EVT-Bench 単一目標SR 88.4%・妨害目標62.0%; NAVSIM PDMS 84.3(8ビュー); OpenUAV seen SR 29.17%; 実世界110試験(VLN 50・探索30・追跡30)

ロボット

Unitree Go2四足(SG3Sカメラ)、Unitree G1ヒューマノイド(RealSense D455)、NCS-β飛行ロボット(RealSense D435)、Galbot G1車輪型(SG3Sカメラ); ロボットごとの既製ローカルプランナーで軌跡を追従

推論

推論デバイス・速度

リモートサーバーRTX 4090(論文)/RTX 5090(プロジェクトページ)で実行、ロボットは観測を圧縮して送信; 1,600トークン予算で8ウェイポイント軌跡の生成に最大0.5秒

推論メモリ

約19.1 GB (ICLRカメラレディ)

重み bf16(計算)

14 GB

実行場所

リモートサーバー (RTX 4090/5090)

強化学習・ベース

強化学習

不使用 · 模倣学習(SFT)のみ

ベース制御

四足歩行·ヒューマノイド歩行·車輪型·飛行 (ウェイポイント → 追従制御器) · モデルがウェイポイント軌跡を出力 → ロボット別の既製ローカルプランナーが速度・関節指令で追従 (ドローンを含む)

備考

主な特徴

四足・ドローン・車輪型・車両など複数のエンボディメントと、VLN・物体探索・追跡・自動運転タスクを一つのモデルで学習したナビゲーション基盤モデルで、視点・時間指示トークンとトークン予算に基づく履歴サンプリングを導入した。8.02Mのナビゲーションサンプルにより、タスク別ファインチューニングなしでR2R-CE(4ビュー SR 61.7%)・RxR-CE・HM3D-OVON・EVT-Bench・NAVSIMなどで最高または競合水準を示した。

備考

推論GPUが論文(RTX 4090)とプロジェクトページ(RTX 5090)で異なる; 自動運転データは実車の走行ログ(nuScenes・OpenScene)で、実ロボット収集の学習データはなし; コード・重みの公開リンクなし(プロジェクトページ基準); ICLR 2026。

検証

修正反映