OmniVLA

UC Berkeley·Toyota Motor North America·Princeton University · 2025-09

VLAナビゲーション7.5B回帰

言語・目標画像・2D目標位置を単独または組み合わせで受け取るオムニモーダルなナビゲーションVLAで、OpenVLA 7Bを10プラットフォーム9,500時間のデータでLoRA学習した。

論文

バックボーンLLM: Llama 2-7B · OpenVLA構成
ビジョンエンコーダ: DINOv2 + SigLIP
アクションヘッド: 線形行動ヘッド (ウェイポイント8個を回帰、OFT方式) (回帰)
チャンク: ウェイポイント8個 (3 Hz · 2.4秒)
制御周期: 行動3 Hz間隔 (実行周期は非公開)
構造の原文要約: OpenVLA 7B(Llama 2-7B + DINOv2・SigLIP、総計7.5B)に現在・目標画像、2D目標位置、言語を入力(modality dropoutで目標の組み合わせをマスキング) → LLM出力の線形行動ヘッド(OpenVLA-OFT式)でウェイポイント8個(3 Hz、2.4秒)を回帰 → 線速度・角速度指令; 軽量版OmniVLA-edge 50M(ViNTベース、EfficientNet-B0・CLIP・FiLM)

事前学習アクセラレータ: H100 80GB 8枚 (READMEは'across 8 nodes'と表記)
事前学習期間: 非公開
事前学習ステップ・バッチ: GPUあたりバッチ7 × 勾配累積4 = 有効バッチ224; ステップ非公開
GPU・TPU時間: 非公開
ファインチューニング: CASTデータ微調整版を公開 (GPU・時間は非公開)
データ種類: 実ロボットのテレオペレーション / 実ロボットの自律走行ログ / Web動画 / 人の動画
データ規模: 9,500時間・10プラットフォーム (使用時間: GNM 62.0h、LeLaN 128.7h、FrodoBots-2K 700h、BDD-V 8,680h)
主要データセット: GNM混合; LeLaN混合; FrodoBots-2K(MBRA再ラベル); BDD-V(MBRA再ラベル); CAST(微調整)
タスク・評価: 実ロボット成功率: 言語 0.73 (OmniVLA-edge 0.60、LeLaN 0.43、CounterfactualVLA 0.33、MiniVLA 0.23、SmolVLA 0.10); 2D位置 0.95 (MBRA 0.86、NoMaD 0.33); 目標画像 1.00 (MBRA 1.00、NoMaD 0.63、ViNT 0.50)
ロボット: FrodoBots EarthRover Zero車輪型、VizBot車輪型、Unitree Go1四足

推論デバイス・速度: 現場デプロイ: RTX 4090ローカルPCがインターネット経由で前方映像・位置を受け取り速度指令を送信; 遅延・制御周期は非公開
推論メモリ: 非公開
重み bf16(計算): 15 GB
実行場所: リモートのローカルPC RTX 4090 (インターネット経由)

強化学習: 不使用 · 模倣学習のみ (MBRA・NoMaD合成行動ラベルを含む)
ベース制御: 車輪型·四足歩行 (ウェイポイント → 追従制御器) · VLAがウェイポイント8個を出力 → 選択ウェイポイントを線速度・角速度指令に変換してロボットに送信

主な特徴: 言語・目標画像・2D目標位置を単独または組み合わせで受け取るオムニモーダルなナビゲーションVLAで、OpenVLA 7Bを10プラットフォーム9,500時間のデータでLoRA学習した。実ロボットで言語目標成功率0.73(LeLaN 0.43)・2D位置0.95・目標画像1.00と、モダリティ別の専用方策と同等以上だった。
備考: LoRAで学習パラメータを約5%に制限。FrodoBots・BDD-VはMBRA、LeLaNはNoMaDによる合成行動ラベル。HFページの自動表記は'8B params'(論文7.5B)、BF16 safetensors 約15.1GB。学習時間・推論遅延は非公開。ICRA 2026。ベース: OpenVLA: An Open-Source Vision-Language-Action Model (arXiv 2406.09246) — OpenVLA 7Bチェックポイントから学習開始、OpenVLA-OFTコードベースに基づく (README)
検証: 確認