VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

Magma

Microsoft Research·University of Maryland·UW–Madison·KAIST·University of Washington · 2025-02

VLA自己回帰・潜在アクションVLA8.6B離散トークン

UIナビゲーションとロボット操作を併せて扱うマルチモーダルエージェント基盤モデルである。

論文

分類: 自己回帰・潜在アクションVLA
タイプ: VLA
発表: 2025-02
機関: Microsoft Research·University of Maryland·UW–Madison·KAIST·University of Washington
重み公開: あり
パラメータ: 8.6B(論文)/9B(HFモデルカード)

バックボーンLLM: LLaMA-3-8B
ビジョンエンコーダ: ConvNeXt-XXlarge (CLIP)
アクションヘッド: 256離散トークン (OpenVLA方式) (離散トークン)
チャンク: 非公開
制御周期: 非公開
構造の原文要約: LLaMA-3-8B + ConvNeXt-XXlarge(CLIP-ConvNeXt); 語彙の最後の256個の離散トークンでロボットアクション(OpenVLA方式)

事前学習アクセラレータ: NVIDIA H100・AMD MI300(モデルカード)、数は非公開
事前学習期間: 非公開
事前学習ステップ・バッチ: 最大3 epochs、batch 1024、lr 1e-5、最大シーケンス4096
GPU・TPU時間: 非公開
ファインチューニング: 非公開(学習コードは2025-03-09公開)
データ種類: 実ロボットのテレオペレーション + 人の動画 + Web視覚言語
データ規模: 約39Mサンプル: ロボット OXE 970K軌跡(9.4M 画像-言語-アクション)、UI 2.7M、動画25M+(約4Mクリップ)、画像-テキスト1.2M + Magma-SFT 820K
主要データセット: OXE, SeeClick, Vision2UI, Ego4D, Something-Something v2, Epic-Kitchens, ShareGPT4V, LLaVA-1.5
タスク・評価: SimplerEnv 8タスク(172シナリオ); 実機WidowX 4タスク(タスクあたり約50軌跡); LIBERO(タスクあたり10軌跡でファインチューニング、スイートあたり100回); UI: Mind2Web・AITW
ロボット: WidowX、SimplerEnv・LIBEROシミュレーション、UIエージェント

推論デバイス・速度: Magma-8B bf16 呼び出しあたり1.1 s・17 GB、4-bit 1.1 s・7 GB(README、GPU記載なし)
推論メモリ: bf16 17 GB · 4-bit 7 GB (README)
重み bf16(計算): 17.2 GB
実行場所: 非公開

主な特徴: UIナビゲーションとロボット操作を併せて扱うマルチモーダルエージェント基盤モデルである。Set-of-Markで行動をグラウンディングし、Trace-of-Markで動画から計画を学ぶ。
備考: 学習ハードウェアはモデルカードにのみあり論文にはない。重み公開2025-02-25。UIエージェントタスクも含む。パラメータ(B)は論文の値8.6Bである。
検証: 確認