VLingNav

ByteDance Seed·Peking University·Zhongguancun Academy · 2026-01

VLAナビゲーション7B回帰

必要なときだけ明示的推論をオンにする適応型CoTと、言語要約・主要視覚特徴を組み合わせたメモリを備えたナビゲーションVLAで、模倣学習の後に専門家誘導オンラインRLで事後学習した。

論文

バックボーンLLM: Qwen2-7B · LLaVA-Video-7B構成
ビジョンエンコーダ: SigLIP-400M
アクションヘッド: MLP行動ヘッド (ガウシアン) ウェイポイント軌跡 (x, y, θ) + 適応型CoTテキスト (回帰)
チャンク: 非公開
制御周期: 約2.5 FPS (遅延300 ms未満)
構造の原文要約: SigLIP-400M + LLaVA-Video-7B; 適応型CoT(<think_on>/<think_off>指示トークン、平均2.1%のステップのみ推論) + 視覚補助言語メモリ(VLingMem、過去の視覚トークンを保持し最新フレームのみエンコード); 最終トークンの隠れ状態 → MLP行動ヘッド(ガウシアン)がウェイポイント軌跡(x, y, θ)を出力

事前学習アクセラレータ: A100 128枚
事前学習期間: 非公開
事前学習ステップ・バッチ: 3段階: オープンエンド適応型CoT動画事前学習1エポック → SFT共同学習20Kステップ・総バッチ512 → オンラインRL
GPU・TPU時間: 非公開
ファインチューニング: オンラインRL: 反復ごとにon-policyで128エピソード収集 × 10回更新、PPO型目的 + REINFORCE++アドバンテージ、専門家誘導の混合目的(15ステップ停滞時に専門家が介入); GPU・時間は非公開
データ種類: シミュレーション・合成 / Web視覚言語
データ規模: 計4.5M: ナビゲーション2.9M(Nav-AdaCoT-2.9M、CoT注釈約472K) + オープンエンド動画1.6M
主要データセット: Nav-AdaCoT-2.9M(HM3D・MP3D ObjectNav、追跡、ImageNav); LLaVA-Video-178K; Video-R1; ScanQA
タスク・評価: ObjectNav SR HM3Dv1 79.1%・HM3Dv2 83.0%・MP3D 58.9%; HM3D-OVON val-unseen SR 50.1%; EVT-Bench SR 単一88.4%・妨害67.6%; HM3D Instance ImageNav SR 60.8%・SPL 37.4%; 実世界Go2で家庭・オフィス・屋外のObjectNav・追跡・ImageNav
ロボット: Unitree Go2四足 + 頭部装着RealSense D457 (RGB 1280×800、HFOV 90°)

推論デバイス・速度: リモートサーバーRTX 4090; 500フレームでも遅延300 ms未満、実効約2.5 FPS; ロボットはNMPCで軌跡に追従
推論メモリ: 非公開
重み bf16(計算): 14 GB
実行場所: リモートサーバー (RTX 4090)

強化学習: 使用 (VLAのRL事後学習) · 第3段階エキスパート誘導オンラインRL(シミュレーションon-policyロールアウト、PPO型目的・REINFORCE++アドバンテージ)
強化学習の根拠: https://arxiv.org/abs/2601.08665
ベース制御: 四足歩行 (ウェイポイント → 追従制御器) · VLAがウェイポイント軌跡を出力 → NMPCが線速度・角速度を計算して追従

主な特徴: 必要なときだけ明示的推論をオンにする適応型CoTと、言語要約・主要視覚特徴を組み合わせたメモリを備えたナビゲーションVLAで、模倣学習の後に専門家誘導オンラインRLで事後学習した。HM3Dv2 ObjectNav SR 83.0%とEVT-Bench・Instance ImageNavで最高水準を報告し、Unitree Go2にゼロショット転移した。
備考: 追加モデル: 2026年ByteDance SeedのナビゲーションVLAで、適応型CoT・言語メモリ・オンラインRL事後学習を組み合わせObjectNav・追跡・ImageNavで最高水準を報告したため収録; LLaVA-Video-7B内蔵LLMの名称は論文に記載なし(StreamVLN論文はQwen2-7Bと記載); ウェイポイント数nは記載なし; 学習期間は非公開; 重み・コードは非公開(プロジェクトページのみ); VLN-CE結果なし。
検証: 確認