StreamVLN

Shanghai AI Laboratory·The University of Hong Kong·Zhejiang University·Shanghai Jiao Tong University · 2025-07

VLAナビゲーション8.03B離散トークン

連続動画をマルチターン対話として処理し、最近の対話はスライディングウィンドウKVキャッシュで再利用し、過去の視覚情報は3Dボクセルベースのトークン枝刈りメモリで圧縮するストリーミングVLNモデルである。

論文

分類: ナビゲーション
タイプ: VLA
発表: 2025-07
機関: Shanghai AI Laboratory·The University of Hong Kong·Zhejiang University·Shanghai Jiao Tong University
重み公開: あり
パラメータ: 8.03B (HF safetensors; LLaVA-Video 7Bベース)

バックボーンLLM: Qwen2-7B · LLaVA-Video 7B構成
ビジョンエンコーダ: LLaVA-Video内蔵ビジョンエンコーダ (名称記載なし)
アクションヘッド: 離散行動テキスト (↑ 25 cm · ←/→ 15° · STOP)、ターンあたり4個 (離散トークン)
チャンク: 行動4個 (コードのデフォルト値)
制御周期: 行動4個あたり0.27秒 (RTX 4090)
構造の原文要約: LLaVA-Video 7B (LLM Qwen2-7B) ベースのマルチターン対話型ストリーミング; fast: 直近Nターンのスライディングウィンドウ KVキャッシュ再利用、slow: 3Dボクセルベースのトークン枝刈りメモリ; ターンごとに離散行動テキストを出力(↑ 前進25 cm・←/→ 回転15°・STOP、コードのデフォルトは4個)

事前学習アクセラレータ: A100 (枚数非公開)
事前学習期間: 非公開
事前学習ステップ・バッチ: 2段階: オラクルVLN軌跡で1エポック → DAgger・VLデータの共同学習で1エポック追加; ステップあたり動画クリップ128個 (最大lr LLM 2e-5・ビジョンエンコーダ 5e-6)
GPU・TPU時間: 1,500 (明示 · A100時間 ("around 1500 A100 GPU hours"))
ファインチューニング: 該当なし (実世界デプロイ用チェックポイントを別途公開、学習演算は非公開)
データ種類: シミュレーション・合成 / Web視覚言語
データ規模: VLN動画クリップ450K(MP3D 60環境、R2R・R2R-EnvDrop・RxR) + ScaleVLNサブセット300K(別の節では150k) + DAgger 240K + 動画VQA 248K + MMC4インターリーブ230K; 混合比VLA 67%・一般33%
主要データセット: R2R-CE; RxR-CE; R2R-EnvDrop; ScaleVLN(HM3D、VLN-CE変換サブセット); LLaVA-Video-178K; ScanQA・SQA3D; MMC4
タスク・評価: R2R-CE val-unseen SR 52.8%・SPL 47.2% (追加VLNデータ † SR 56.4%・SPL 50.2%); RxR-CE SR 48.6%・SPL 42.5% († SR 54.4%・SPL 45.4%); 実ロボットGo2で屋内・屋外の単純・長期指示を遂行
ロボット: Unitree Go2四足 + RealSense D455 (モデル入力はRGB; 深度・オドメトリはトークン枝刈りの逆投影用)

推論デバイス・速度: リモートワークステーションRTX 4090; 行動4個の推論平均0.27秒 + 通信0.2秒(屋内)・1.0秒(屋外); Go2が動画をサーバーにストリーミング; メモリは非公開
推論メモリ: 非公開
重み bf16(計算): 16.1 GB
実行場所: リモートワークステーション (RTX 4090)

強化学習: 不使用 · 模倣学習(SFT) + DAgger収集データの共同学習
ベース制御: 四足歩行 (離散移動行動) · VLAが離散行動列(前進25 cm・回転15°・停止)を出力 → ロボットクライアントがROS2で速度指令を発行

主な特徴: 連続動画をマルチターン対話として処理し、最近の対話はスライディングウィンドウKVキャッシュで再利用し、過去の視覚情報は3Dボクセルベースのトークン枝刈りメモリで圧縮するストリーミングVLNモデルである。長い動画でも遅延を低く保ち、R2R-CE SR 56.4%(追加VLNデータ)を記録し、Unitree Go2実ロボットで屋内・屋外の指示を実行した。
備考: arXiv v2(2026-07)基準; 本文の数値(R2R SR 56.9%・SPL 51.9%、RxR SR 52.9%・SPL 46.0%)とTable I(56.4/50.2、54.4/45.4)が不一致; 行動トークン数の記述が不一致('8 action tokens' vs '0.27s for 4 actions')、公式コードのデフォルトnum_future_steps=4; ScaleVLN 300K vs 150kの不一致; GPU枚数・期間は非公開; コード・データ・チェックポイント2種(ベンチマーク用・実世界用)公開、CC BY-NC-SA 4.0。ベース: LLaVA-Video: Video Instruction Tuning With Synthetic Data (arXiv 2410.02713) — 論文・READMEがLLaVA-Video 7Bの上に構築したと明記
検証: 確認