Uni-NaVid

Peking University·Galbot·BAAI · 2024-12

VLAナビゲーション7B離散トークン

VLN・ObjectNav・EQA・人物追従の4つのナビゲーションタスクの入出力形式を統一して1つの動画VLAとして学習し、オンライントークンマージと4ステップ行動予測で約5 Hzのノンブロッキング実配備を実現した。

論文

バックボーンLLM: Vicuna-7B
ビジョンエンコーダ: EVA-CLIP
アクションヘッド: 離散行動トークン4個 (前進25 cm · 左右回転30° · 停止) またはテキスト回答 (離散トークン)
チャンク: 行動4個
制御周期: 約5 Hz (推論0.2秒)
構造の原文要約: EVA-CLIP + 2層MLPプロジェクタ + Vicuna-7B (LLaMA-VID・NaVid系); オンライン視覚トークンマージ(現在64個・短期メモリ4個・長期メモリ1個/フレームグループ); 次の4つの離散行動トークン(FORWARD 25 cm・TURN-LEFT/RIGHT 30°・STOP)またはテキスト回答(EQA); リモートA100で約5 Hz

事前学習アクセラレータ: H800 40枚
事前学習期間: 約35時間
事前学習ステップ・バッチ: 1エポック (バッチ非公開)
GPU・TPU時間: 1,400 (明示 · H800時間 ("totaling 1400 GPU hours"))
ファインチューニング: 該当なし (2段階学習: 1段階目はプロジェクタのみアライメント学習・2段階目はナビゲーション・動画QAの共同学習; READMEはUni-NaVidベースの追加微調整スクリプトを提供)
データ種類: シミュレーション・合成 / Web視覚言語
データ規模: ナビゲーション 3.6M サンプル(VLN 2.4M、ObjectNav 483k、EQA 動画-行動 240k + 動画-回答 10k、人物追従 544k) + 動画QA 2.3M
主要データセット: VLN-CE R2R・RxR; HM3D ObjectNav; MP3D-EQA; Habitat 3.0人物追従(自前収集); 公開動画QA 2.3M
タスク・評価: R2R-CE val-unseen SR 47.0%・SPL 42.7%; RxR-CE SR 48.7%・SPL 40.9%; HM3D ObjectNav SR 73.7%・SPL 37.1%; MP3D-EQA ACC 47.3%(GT軌跡時54.4%); 人物追従(Habitat 3.0独自ベンチ) SR 61.21%; 実世界で複合指示のデモ
ロボット: Unitree Go2四足 + 頭部装着RealSense D455 (モデル入力は単眼RGB; 内蔵LiDAR-L1は局所モーション計画専用)

推論デバイス・速度: リモートサーバーのA100 1枚で推論約0.2秒(約5 Hz) + インターネット通信(画像送信・指令受信)約0.3秒; READMEは量子化でさらに高速化可能と言及; メモリは非公開
推論メモリ: 非公開
重み bf16(計算): 14 GB
実行場所: リモートサーバー (A100)

強化学習: 不使用 · 模倣学習(SFT)のみ
ベース制御: 四足歩行 (離散移動行動) · VLAが離散行動4個(前進25 cm・回転30°・停止)を出力 → ロボットがノンブロッキング方式で順次実行 (LiDARは局所モーション計画用)

主な特徴: VLN・ObjectNav・EQA・人物追従の4つのナビゲーションタスクの入出力形式を統一して1つの動画VLAとして学習し、オンライントークンマージと4ステップ行動予測で約5 Hzのノンブロッキング実配備を実現した。3.6Mのナビゲーションサンプルによるタスク間シナジーでR2R-CE SR 47.0%、HM3D ObjectNav SR 73.7%など複数のベンチマークで当時の最高水準を報告した。
備考: 公開重み(HF Jzzhang/Uni-NaVid、uninavid-7b-full-224-video-fps-1-grid-2)はライセンス問題で一部機能を書き直したオープンソース版で、ObjectNav用L3MVNデータは不使用; READMEの表のR2R val SR 51.8%・RxR val SR 56.1%は論文の数値と異なる; 学習・評価コード公開; バッチ・学習率は非公開; RSS 2025。ベース: NaVid: Video-based VLM Plans the Next Step for Vision-and-Language Navigation (arXiv 2402.15852) — README: コードがLLaMA-VID・NaVidベース
検証: 修正反映