NaVILA

UC San Diego·USC·NVIDIA · 2024-12

VLAナビゲーション8B離散トークン

VLAが低レベル関節指令の代わりに距離・角度を含む中レベル言語行動を出力し、LiDARハイトマップを使うRL歩行方策がそれを障害物回避とともに実行する2段階構造である。

論文

バックボーンLLM: Llama 3 8B · VILA構成 (READMEのチェックポイント名)
ビジョンエンコーダ: SigLIP (READMEのチェックポイント名)
アクションヘッド: 中間言語行動テキスト (前進cm · 回転度 · 停止) → 固定速度指令 (離散トークン)
チャンク: なし (1ステップ)
制御周期: VLA約1 FPS (RTX 4090)
構造の原文要約: VILAベースの8B VLM (READMEのチェックポイント名: SigLIPビジョンエンコーダ + Llama 3 8B) + MLPプロジェクタ、フレームあたり196トークン・実配備で8フレームのメモリ; 中レベル言語行動('move forward 75 cm', 'turn right 30 degrees', 'stop') → 固定速度(0.5 m/s、±π/6 rad/s、0)で該当時間だけ実行 → RL歩行方策(LiDARハイトマップ + 固有受容覚)が関節位置目標を出力

事前学習アクセラレータ: A100 4ノード (VLA instruction-tuning段階; VILA継承の第1・2段階はA100 16ノード、ノードあたり8 GPU)
事前学習期間: 18時間 (instruction-tuning段階)
事前学習ステップ・バッチ: 1エポック (lr 1e-4 コサイン減衰・warm-up 0.03; バッチ非公開)
GPU・TPU時間: 非公開
ファインチューニング: VLAの個別ファインチューニングなし; RL歩行方策はIsaac Lab PPO、RTX 4090 1枚で60K FPS以上のスループット (学習時間は非公開)
データ種類: シミュレーション・合成 / Web動画 / Web視覚言語
データ規模: YouTube一人称ツアー動画2K本 → 軌跡20K(MASt3R姿勢推定で行動ラベル); R2R・RxR・EnvDrop・ScanQA・一般VQAの規模は記載なし
主要データセット: R2R-CE; RxR-CE; R2R-EnvDrop; ScanQA; YouTube Human Touring(独自); 一般動画VQA(video_chatgpt・sharegpt_video・sharegpt4v_sft、README)
タスク・評価: R2R-CE val-unseen SR 54.0%・SPL 49.0%; RxR-CE SR 49.3%・SPL 44.0%; 独自のVLN-CE-Isaacベンチ(R2R val-unseen 1,077軌跡)を導入; 実世界Workspace・Home・Outdoorで25指示×3回 SR 88%、複合指示75%
ロボット: Unitree Go2四足(LiDAR); Unitree H1・Booster T1ヒューマノイド

推論デバイス・速度: VLAはRTX 4090 1枚で約1 FPS; FP16 594.58 ms・18.5 GB、AWQ W4A16 367.80 ms・8.6 GB (1,737コンテキストトークン); 実行場所は明記なし(量子化でロボットに直接配備すれば画像転送時間をなくせると言及)
推論メモリ: 18.5 GB (FP16)
重み bf16(計算): 16 GB
実行場所: RTX 4090 1枚 (ロボット搭載かどうかは明示なし)

強化学習: 一部 (RL下位制御器との結合) · VLAはSFT、下位歩行方策はIsaac LabでPPOにより学習(LiDARハイトマップ、関節位置出力)
強化学習の根拠: https://arxiv.org/abs/2412.04453
ベース制御: 四足歩行·ヒューマノイド歩行 (指令・潜在 → RL歩行制御器) · VLAが中間言語指令(距離・角度・停止)を出力 → 固定速度指令に変換 → RL歩行方策が関節位置を制御

主な特徴: VLAが低レベル関節指令の代わりに距離・角度を含む中レベル言語行動を出力し、LiDARハイトマップを使うRL歩行方策がそれを障害物回避とともに実行する2段階構造である。YouTubeのツアー動画2K本から作った軌跡20Kを含むデータで学習し、R2R-CE SR 54.0%を達成、実世界の25指示で成功率88%を示した。
備考: LLM・ビジョンエンコーダの名称は論文に記載なし、READMEのチェックポイント名(navila-siglip-llama3-8b-v1.5-pretrain, navila-llama3-8b-8f)に基づく; VILAの1・2段階(コネクタ初期化4時間・VL事前学習30時間)は継承; RL歩行方策の制御周波数は記載なし(LiDAR 15 Hz); 重み・学習コード・データアノテーションを公開(YouTube原本は動画IDのみ); RSS 2025。ベース: VILA: On Pre-training for Visual Language Models (arXiv 2312.07533) — 論文はVILAの上に構築し、1・2段階をVILAから継承したと明記
検証: 確認