VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

OpenVLA

Stanford·UC Berkeley·TRI·Google DeepMind·Physical Intelligence·MIT · 2024-06

VLA自己回帰・潜在アクションVLA7B離散トークン

OXE 970k軌跡で学習した公開7B VLAで、ECoT・TraceVLA・OpenVLA-OFT・UniVLAなどがこのスタックを基にした。

論文

バックボーンLLM: Llama 2 7B · Prismatic-7B
ビジョンエンコーダ: SigLIP + DINOv2 (600M)
アクションヘッド: 256-bin離散トークン7個 (離散トークン)
チャンク: なし (1ステップ)
制御周期: 非公開
構造の原文要約: Prismatic-7B(SigLIP+DINOv2 600M → 2層MLP → Llama 2 7B); アクション次元ごとの256-bin離散トークン(語彙の最後の256個)、チャンクなし、224×224入力

事前学習アクセラレータ: A100 64枚
事前学習期間: 14日(論文)/15日(プロジェクトページ)
事前学習ステップ・バッチ: 27 epochs、batch 2048、lr 2e-5 固定(公開チェックポイント名は step-295000-epoch-40)
GPU・TPU時間: 21,500 (明示 · A100時間)
ファインチューニング: LoRA r=32(パラメータの1.4%を学習): A100 1枚で10–15 h(最小約27 GB; batch 16は59.7 GB(論文)/約72 GB(README)); フルFT: A100 8枚(FSDP)でタスクあたり5–15 h
データ種類: 実ロボットのテレオペレーション
データ規模: 970k軌跡
主要データセット: OXE 'Open-X Magic Soup++'(Fractal 12.7%、Kuka 12.7%、Bridge 13.3%、DROID 10.0%など); DROIDは学習の最後の1/3で除外
タスク・評価: BridgeData V2 WidowX・Googleロボット汎化評価; Franka-Tabletop・Franka-DROIDファインチューニング(10–150デモ); LIBERO平均76.5%(84.7/88.4/79.2/53.7)
ロボット: WidowX、Googleロボット、Franka

推論デバイス・速度: RTX 4090 約6 Hz、bf16 15 GB; int8 10.2 GB・A5000 1.2 Hz; int4 7.0 GB・A5000 3 Hz; A100 4.2 Hz(二次情報、OpenVLA-OFTの測定)
推論メモリ: bf16 15 GB · int8 10.2 GB · int4 7.0 GB (論文)
重み bf16(計算): 14 GB
実行場所: ローカルPC

主な特徴: OXE 970k軌跡で学習した公開7B VLAで、ECoT・TraceVLA・OpenVLA-OFT・UniVLAなどがこのスタックを基にした。事前学習の計算量を21,500 A100-時間と明記した。
備考: 学習期間が論文では14日、プロジェクトページでは15日と異なる。Table 1のFull FT 163.3 GBはbatch 16をGPU 2枚にFSDPで分けた合計である。LIBEROファインチューニングの付録(App E)は確認できなかった。パラメータ(B)は論文の値7Bである。
検証: 確認