NaVid

Peking University·BAAI·CASIA·University of Adelaide·Australian National University·Galbot · 2024-02

VLAナビゲーション7B離散トークン

単眼RGB動画履歴と言語指示のみで次の行動を言語で出力する動画VLMベースのVLNエージェントで、地図・オドメトリ・深度なしに連続環境(VLN-CE)で動作する。

論文

分類: ナビゲーション
タイプ: VLA
発表: 2024-02
機関: Peking University·BAAI·CASIA·University of Adelaide·Australian National University·Galbot
重み公開: あり
パラメータ: 7B (Vicuna-7Bベース; 全体の数値は記載なし)

バックボーンLLM: Vicuna-7B · LLaMA-VID構成
ビジョンエンコーダ: EVA-CLIP (EVA-ViT-G重み)
アクションヘッド: 次の行動テキスト (FORWARD+距離 · TURN+角度 · STOP、正規表現でパース) (離散トークン)
チャンク: なし (1ステップ)
制御周期: 行動あたり1.2–1.5秒
構造の原文要約: EVA-CLIPビジョンエンコーダ + 指示クエリトークン・指示非依存トークン(現在フレーム64個、過去フレームあたり4個) + Vicuna-7B (LLaMA-VIDベース); 次の1行動をテキストで出力(FORWARD+移動距離、TURN-LEFT/RIGHT+回転角度、STOP)、正規表現パーサで抽出; 単眼RGB動画のみ入力、行動あたり1.2–1.5秒

事前学習アクセラレータ: A100 24枚 (LLaMA-VIDの重みからNaVidを学習)
事前学習期間: 約28時間
事前学習ステップ・バッチ: 1エポック (バッチ非公開)
GPU・TPU時間: 672 (明示 · A100時間 ("totaling 672 GPU hours"))
ファインチューニング: 該当なし (ナビゲーション・Webデータの単一共同学習段階)
データ種類: シミュレーション・合成 / Web視覚言語
データ規模: ナビゲーション 510k サンプル(MP3D 61シーンのオラクルステップ 320k + 非オラクル 180k + 指示推論補助 10k 軌跡) + Webデータ 763k(動画キャプションなど)
主要データセット: VLN-CE R2R (MP3D 61シーン); Web動画・キャプションデータ763k (詳細な出典の記載なし)
タスク・評価: R2R-CE val-unseen SR 37.4%・SPL 35.9%・NE 5.47; RxR-CE クロスデータセット(R2Rで学習) SR 23.8%・SPL 21.2%; 屋内4シーン(Meeting room・Office・Lab・Lounge)で単純・複合指示計200件の実ロボット試験
ロボット: TurtleBot 4車輪型 + Azure Kinect DK (モデルはRGBのみ使用; LiDAR・Nav2はオドメトリが必要な比較モデル用)

推論デバイス・速度: リモートサーバーのA100 1枚で実行、ロボットは圧縮画像を送信し解析済み指令を受信; 行動あたり約1.2–1.5秒; メモリは非公開
推論メモリ: 非公開
重み bf16(計算): 14 GB
実行場所: リモートサーバー (A100)

強化学習: 不使用 · 模倣学習(SFT)のみ; 非オラクル軌跡データの収集を含む
ベース制御: 車輪型 (離散移動行動) · VLMが離散行動(前進距離・回転角度・停止)をテキストで出力 → ロボットが指令を実行し回転・前進の追従を確認

主な特徴: 単眼RGB動画履歴と言語指示のみで次の行動を言語で出力する動画VLMベースのVLNエージェントで、地図・オドメトリ・深度なしに連続環境(VLN-CE)で動作する。シミュレーション510kサンプルとWebデータ763kで共同学習し、R2R-CE SR 37.4%と屋内200指示の実ロボット試験でsim-to-real汎化を示した。
備考: READMEの公開チェックポイント(HF Jzzhang/NaVid、CC BY-NC 4.0)はR2R・RxR学習分割でUni-NaVidの学習戦略に従い再学習したバージョンで、R2R val SR 41.9%・RxR val SR 45.7%(READMEの表)であり論文の数値とは異なる; 評価コード公開; 事前学習欄はLLaMA-VIDで初期化した後のNaVid学習段階(LLaMA・テキストエンコーダのみ学習)基準; バッチ・学習率は非公開; RSS 2024。ベース: LLaMA-VID: An Image is Worth 2 Tokens in Large Language Models (arXiv 2311.17043) — 論文は動画VLM LLaMA-VIDの上に構築したと明記
検証: 確認