Qwen-RobotNav

Qwen Team · 2026-06

VLAナビゲーション4B・8B回帰

タスクモードと観測コンテキスト(トークン予算・時間減衰・カメラ重み)をパラメータ化して学習時にランダム化し、1つのモデルがVLN・物体探索・追跡・自動運転を上位エージェントプランナーのツールとして実行する。

論文

バックボーンLLM: Qwen3-VL-8B (4Bバリアントを含む)
ビジョンエンコーダ: SigLIP-2 ViT (Qwen3-VL内蔵、DeepStack)
アクションヘッド: 4層MLPウェイポイント回帰 (hidden 512) (回帰)
チャンク: ウェイポイント8個
制御周期: 4.9–5.1 Hz (Go2実機デプロイ)
構造の原文要約: Qwen3-VL(4B・8B; SigLIP-2 ViT・2D-RoPE動的解像度・DeepStack) + 4層MLP行動ヘッド(hidden 512) → ウェイポイント8個(x,y,θ)を連続回帰(MSE); タスクモード(VLN・PointNav・ObjNav・Tracking)と視覚トークン予算(2048–4096)・時間減衰・カメラ重み・フレームサンプリングを推論時に調整、上位プランナーがツールのように呼び出す; 実配備で約5 Hz

事前学習アクセラレータ: H100 (枚数非公開)
事前学習期間: 非公開
事前学習ステップ・バッチ: 8B グローバルバッチ256、lr 2e-5(ViT・LLM)・1e-4(行動ヘッド); ステップ・エポックは非公開
GPU・TPU時間: 2,816 (明示 · H100時間 ("a total of 2,816 H100 GPU hours"、8Bモデル))
ファインチューニング: 該当なし (Qwen3-VLから単一段階のエンドツーエンド学習)
データ種類: シミュレーション・合成 / 実ロボットの自律走行ログ / Web視覚言語
データ規模: 15.6Mサンプル(軌跡85%・VL 15%): 指示追従 5.63M(R2R 1,491K・RxR 4,140K)、PointNav 984K、ObjectNav 2,000K、追跡 1,486K(EVT-Bench)、自動運転約3.2M(nuScenes 78K・OpenScene 3,138K)、動画生成器データ 40K; VL一般約1.0M + ナビ推論約873K
主要データセット: VLN-CE R2R・RxR; Matterport3D・HM3D(Habitat); EVT-Bench; nuScenes; OpenScene(NAVSIM); NavGPT-2方式の推論データ; VQAv2・RefCOCOなど一般VL
タスク・評価: R2R-CE val-unseen SR 72.1%・SPL 66.6(8Bパノラマ; 単眼8B 65.7%・4B 66.9%)、RxR-CE SR 76.5%・SPL 65.7; HM3Dv2 ObjectNav SR 75.6%(4B); EVT-Bench TR 90.0%(4B); NAVSIM PDMS 91.4(4B); エージェントEQA HM-EQA 76.7%(Qwen3.6-Plusプランナー); 実ロボットGo2ゼロショットで21.78 m往復VLN
ロボット: Unitree Go2四足(内蔵の低解像度カメラのみ使用)

推論デバイス・速度: Unitree Go2(4Bモデル): リモートサーバー平均196 ms(5.1 Hz)、Jetson Thorオンデバイス(FP8・TensorRT)204 ms(4.9 Hz)(論文); READMEはJetson Thorオンデバイス196 ms(5.1 Hz)と記載; メモリは非公開
推論メモリ: 非公開
重み bf16(計算): 16 GB
実行場所: オンボード Jetson Thor (FP8・TensorRT) またはリモートサーバー

強化学習: 不使用 · 軌跡MSE + VL次トークン教師あり学習(軌跡:VL 85:15 の共同学習)
ベース制御: 四足歩行 (ウェイポイント → 追従制御器) · モデルがウェイポイント8個(x,y,θ)を出力 → Go2が追従(低レベル制御器は記載なし); 上位プランナーがタスクモード・文脈設定を変えて呼び出し

主な特徴: タスクモードと観測コンテキスト(トークン予算・時間減衰・カメラ重み)をパラメータ化して学習時にランダム化し、1つのモデルがVLN・物体探索・追跡・自動運転を上位エージェントプランナーのツールとして実行する。15.6Mサンプルで学習した8BがR2R-CE SR 72.1%・RxR-CE SR 76.5%(パノラマ)を達成し、Go2でJetson Thorオンデバイス4.9 Hzでゼロショット走行した。
備考: README: 'There is currently no plan to release the model weights'。遅延値が食い違う: 論文はリモート196 ms・オンデバイス204 ms、READMEはオンデバイス196 ms。単眼結果(R2R SR 65.7%)はLightNav-0比較表と一致。「実ロボット自律走行ログ」は車両走行データ(nuScenes・OpenScene)。要旨の2Bバリアントは結果表にない。
検証: 確認