VLA ギャラリー / モデル一覧 / ナビゲーション

InternVLA-N1

Shanghai AI Laboratory (Intern Robotics) · 2025-07

VLAナビゲーション8.39Bdiffusion

VLMベースのSystem 2が画像上のピクセル目標・潜在計画を低周波で出し、diffusionベースのSystem 1がそれを条件に高周波軌跡を生成する非同期デュアルシステムのナビゲーション基盤モデルである。

論文

InternVLA-N1: An Open Dual-System Vision-Language Navigation Foundation Model with Learned Latent Plansレポート

概要

分類

ナビゲーション

タイプ

VLA

発表

2025-07

機関

Shanghai AI Laboratory (Intern Robotics)

重み公開

あり

パラメータ

8.39B (HF Preview safetensors) / 8.38B (HF DualVLN); System 2はQwen2.5-VL 7B

構造

バックボーンLLM

Qwen2.5-VL-7B (System 2)

ビジョンエンコーダ

Qwen2.5-VLビジョンエンコーダ (S2) + DepthAnything RGBエンコーダ (S1)

アクションヘッド

S2ピクセル目標・潜在計画 → S1 diffusion軌跡 (DualVLNウェイポイント32個) (diffusion)

チャンク

軌跡 (DualVLN 密なウェイポイント32個)

制御周期

S2 2 Hz · S1 30 Hz · 制御200 Hz

構造の原文要約

System 2: Qwen2.5-VL-7Bが過去・現在のRGBと指示から画像上のピクセル目標(または学習型潜在計画トークン)・停止・その場回転を2 Hzで出力 / System 1: NavDP系diffusion方策(DepthAnything RGBエンコーダ、critic付き; DualVLNはDiT 12層・hidden 384)が短期軌跡を30 Hzで生成(DualVLNは密なウェイポイント32個) → MPC追従、低レベル制御器200 Hz

学習

事前学習アクセラレータ

非公開

事前学習期間

非公開

事前学習ステップ・バッチ

レポート: S2 SFT 1 エポック; DualVLN論文: S2 14,000 ステップ・バッチ 128(lr 2e-5)、S1 15,000 ステップ・バッチ 128(lr 1e-4)

GPU・TPU時間

非公開

ファインチューニング

2段階の協調調整(S2凍結、潜在計画トークン + S1非同期微調整)の計算量は非公開; world model拡張(Wan2.1 1.3B)使用時はR2R-CE最適エポック 4→2

データ種類

シミュレーション・合成

データ規模

InternData-N1: 3,154シーン・4,839.9 km・1,344時間・53.5M画像・0.8M指示 (VLN-N1 3,000+シーン・40M画像・600k指示; VLN-CE 332,179エピソード・856シーン; VLN-PE 8,679エピソード); S2アライメントサンプル5M以上

主要データセット

InternData-N1 (VLN-N1: Replica・MP3D・Gibson・3D-Front・HSSD・HM3D; VLN-CE: R2R・RxR・EnvDrop・ScaleVLN再生; VLN-PE: InternUtopia物理シミュレーション)

タスク・評価

技術レポート: R2R-CE val-unseen SR 55.4%(S2)・58.2%(S1+S2)、RxR-CE SR 49.5%・53.5%; VLN-PE(H1) ゼロショットでVLN-PE学習モデル比 SR 17%以上向上; DualVLN: R2R-CE SR 64.3%・SPL 58.5%、RxR-CE SR 61.4%・SPL 51.8%、VLN-PE R2R unseen SR 51.6%; 実世界のオフィス・食堂・街路など

ロボット

Turtlebot4車輪型、Unitree Go2四足、Unitree G1ヒューマノイド; RealSense D455(15°下向き)

推論

推論デバイス・速度

リモートRTX 4090 1枚、GPUメモリ約20GB; S2の軌跡トークンKVキャッシュ再利用で約1.1秒→0.7秒; S1はTensorRTで軌跡32本を約0.03秒; S2 2 Hz・S1 30 Hz

推論メモリ

約20GB

重み bf16(計算)

16.8 GB

実行場所

リモートサーバー (RTX 4090)

強化学習・ベース

強化学習

不使用 · 模倣学習(SFT・diffusion)のみ; S1 criticは教師あり学習

ベース制御

車輪型·四足歩行·ヒューマノイド歩行 (ウェイポイント → 追従制御器) · S2ピクセル目標・潜在計画 → S1軌跡出力 → オドメトリ基準のワールド座標に変換してMPCで追従

備考

主な特徴

VLMベースのSystem 2が画像上のピクセル目標・潜在計画を低周波で出し、diffusionベースのSystem 1がそれを条件に高周波軌跡を生成する非同期デュアルシステムのナビゲーション基盤モデルである。シミュレーションのみのInternData-N1(53.5M画像・4,839.9 km)で学習してVLN-CE・VLN-PEで最高水準を達成し、車輪型・四足・ヒューマノイドの実ロボットへゼロショット転移した。

備考

発表はHF InternVLA-N1-Previewリポジトリ作成(2025-07-21)基準、技術レポートは2025-09-11、DualVLN論文 arXiv 2512.08186(2025-12); HF変種: Preview(同期、約2 Hz) → wo-dagger(最初の正式版を改名) → w-NavDP*・DualVLN(推奨、RGBのみ); 学習GPU・時間は非公開; データ規模の表記が50M以上/53M/53.5Mで混在; ライセンス CC BY-NC-SA 4.0; 2025-12 学習コード公開。ベース: NavDP: Learning Sim-to-Real Navigation Diffusion Policy with Privileged Information Guidance (arXiv 2505.08712) — レポートがSystem 1はNavDPに類似した構造を継承すると明記

検証

確認