VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

UniVLA (OpenDriveLab)

HKU·OpenDriveLab·AgiBot · 2025-05

VLA自己回帰・潜在アクションVLA7B + アクションデコーダ 10.8M潜在アクション

タスク非依存・タスク中心の2段階で潜在アクションを学習し、人間の動画やナビゲーションデータまで事前学習に使う。

論文

分類: 自己回帰・潜在アクションVLA
タイプ: VLA
発表: 2025-05
機関: HKU·OpenDriveLab·AgiBot
重み公開: あり
パラメータ: 7B + アクションデコーダ 10.8M(アブストラクト)/12.6M(本文)/約12M(README); LoRA時の学習パラメータ約123M

バックボーンLLM: Llama 2 7B · Prismatic-7B
ビジョンエンコーダ: SigLIP + DINOv2 (+ DINOv2潜在アクション)
アクションヘッド: 潜在アクショントークン → エンボディメント別デコーダ (潜在アクション)
チャンク: 12 (実機ロボット)
制御周期: 非公開
構造の原文要約: Prismatic-7B; DINOv2特徴上のVQ-VAEタスク中心潜在アクション(コードブック16、トークン4) + embodimentごとのアクションデコーダ、実ロボットのチャンク12

事前学習アクセラレータ: A100 32枚
事前学習期間: 約30 h
事前学習ステップ・バッチ: 20,000 steps、batch 1,024(GPUあたり32)、lr 2e-5
GPU・TPU時間: 960 (明示 · A100時間)
ファインチューニング: LoRA r=32、GPU 8枚(READMEのコマンド); LIBERO 30k–40k steps・CALVIN 100k steps、batch 128; 時間は非公開
データ種類: 実ロボットのテレオペレーション(マニピュレーション) + 実ロボットのナビゲーション(GNM) + 人の動画
データ規模: 非公開(混合比率のみ: Fractal 13.9%、Kuka 6.3%、Bridge 6.8%、Ego4D 3.0% など)
主要データセット: OXEサブセット、GNM、Ego4D
タスク・評価: LIBERO平均95.2%(Bridgeのみ92.5%); CALVIN; SimplerEnv-Bridge; R2Rオラクル成功47.1%; 実機AgileX 68.9%
ロボット: AgileX、LIBERO・CALVIN・SimplerEnvシミュレーション、R2Rナビゲーション

強化学習: 不使用 · 潜在アクション事前学習 + 模倣学習ファインチューニング
ベース制御: シミュレーションのみ (離散移動行動) · 実ロボットは固定のPiperアーム; ナビゲーションはR2R VLN-CEシミュレーションエージェントに対し、潜在行動を離散移動行動にデコードして出力

主な特徴: タスク非依存・タスク中心の2段階で潜在アクションを学習し、人間の動画やナビゲーションデータまで事前学習に使う。事前学習は960 A100時間で、OpenVLAの約5%である。
備考: Bridgeのみ・人間動画のみの変形はGPU 8枚、global batch 258(原文表記)、約200 A100時間である。潜在アクションモデルはbatch 512・100k stepsで、時間は非公開である。ドメインにナビゲーション(R2R)も含む。BAAIのUniVLAとは別モデルである。
検証: 確認