FutureNav

Tsinghua University·Pengcheng Laboratory·HKUST (Guangzhou)·Xiaomi EV·National University of Singapore · 2026-06

VLAナビゲーション4B・8B離散トークン

VLMの隠れ状態の上で行動予測と逆・順ダイナミクス、未来の空間状態生成を併せて学習するworld-actionモデリングをVLNに導入し、推論には方策ヘッドのみを使って速度を維持する。

論文

分類: ナビゲーション
タイプ: VLA
発表: 2026-06
機関: Tsinghua University·Pengcheng Laboratory·HKUST (Guangzhou)·Xiaomi EV·National University of Singapore
重み公開: 一部
パラメータ: 4B・8B (Qwen3-VL-4B・8Bバックボーン基準; HF FutureNav-4B-BaseはVGGT・ヘッド込みで計5.48B、8Bの総量は非公開)

バックボーンLLM: Qwen3-VL-4B / 8B
ビジョンエンコーダ: Qwen3-VLビジョンエンコーダ(凍結) + VGGT空間エンコーダ(凍結)
アクションヘッド: 離散テキスト行動 (STOP・MOVE_FORWARD・TURN_LEFT・TURN_RIGHT) (離散トークン)
チャンク: なし (1ステップ)
制御周期: 非公開
構造の原文要約: Qwen3-VL-4B/8B(ビジョンタワー凍結) + 凍結VGGT空間エンコーダ(中間層トークン、パッチあたり2048次元 → RMSNorm・2層MLP merger、α=0.2で視覚トークンに加算) → LLM隠れ状態に4つのヘッド(自己回帰行動方策、逆動力学分類、順動力学MLP、未来空間特徴生成); 推論は方策ヘッドのみ使用、離散テキスト行動(STOP・MOVE_FORWARD・TURN_LEFT・TURN_RIGHT)をステップあたり1個

事前学習アクセラレータ: 非公開
事前学習期間: 非公開
事前学習ステップ・バッチ: 非公開
GPU・TPU時間: 非公開
ファインチューニング: 該当なし (Qwen3-VLからの単一ナビゲーション学習段階; アクセラレータ・時間は非公開)
データ種類: シミュレーション・合成
データ規模: VLN-CEエキスパート軌跡約2.43Mサンプル(R2R-CE 631K + RxR-CE 1.80M、「0K」設定); フル設定はScaleVLN・DAggerロールアウトの外部データ10,457K(4B)/10,435K(8B)を追加
主要データセット: R2R-CE; RxR-CE; ScaleVLN; DAggerロールアウト
タスク・評価: R2R-CE val-unseen SR 65.4%・SPL 61.3・NE 4.24(4B全データ; 8B 64.3%・60.3)、RxR-CE SR 60.9%・SPL 52.8・nDTW 68.0(8B SR 63.9%・SPL 54.8); 外部データなしの0K設定で4B R2R SR 55.1%; 実ロボットGo2ゼロショット(定量値は未報告)
ロボット: Go2 四足(遠隔操作、D435i RGBカメラ); シミュレーションVLN-CEエージェント

推論デバイス・速度: 実ロボットはH20 GPUサーバーでリモート推論(Go2カメラのRGBをストリーミング、ステップごとに低レベル行動を1つ返す); 遅延・Hz・メモリは非公開
推論メモリ: 非公開
重み bf16(計算): 16 GB
実行場所: リモートサーバー (H20)

強化学習: 不使用 · 教師あり学習(交差エントロピー・MSE); DAggerロールアウトは学習データとしてのみ使用
ベース制御: 四足歩行 (離散移動行動) · 方策が離散行動(停止・前進・左/右旋回)をステップごとに1つ出力 → リモートサーバーがGo2に送って実行(低レベル制御は記載なし)

主な特徴: VLMの隠れ状態の上で行動予測と逆・順ダイナミクス、未来の空間状態生成を併せて学習するworld-actionモデリングをVLNに導入し、推論には方策ヘッドのみを使って速度を維持する。単眼RGB・4BバックボーンでR2R-CE SR 65.4%・RxR-CE SR 60.9%を達成し、7B級のJanusVLN(R2R 60.5%)など既存VLNモデルを上回った。
備考: 学習ハードウェア・時間・ステップ・バッチ・lrすべて非公開。HF llxs/FutureNavにFutureNav-4B-Base(11.7 GB)のみ公開、8B・学習スクリプト・学習データは非公開(README TODO)。実ロボットはデモのみで定量結果なし。外部データ列(10457Kなど)の構成は本文に説明なし。
検証: 修正反映