VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

MolmoAct

Allen Institute for AI·University of Washington · 2025-08

VLA自己回帰・潜在アクションVLA7B離散トークン

深度認識と視覚軌跡を経てアクションを出力する「アクション推論モデル」である。

論文

MolmoAct: Action Reasoning Models that can Reason in SpacearXiv 2508.07917

概要

分類

自己回帰・潜在アクションVLA

タイプ

VLA

発表

2025-08

機関

Allen Institute for AI·University of Washington

重み公開

あり

パラメータ

7B(両バックボーン)

構造

バックボーンLLM

Qwen2.5-7B / OLMo2-7B

ビジョンエンコーダ

SigLIP2 / OpenCLIP

アクションヘッド

深度トークン → 軌跡 → 256-binトークン (離散トークン)

チャンク

8ステップ

制御周期

非公開

構造の原文要約

SigLIP2+Qwen2.5-7B(7B-D)またはOpenCLIP+OLMo2-7B(7B-O); 深度トークン(コードブック128、画像あたり100個) → 視覚軌跡(最大5点) → 256-binアクショントークン、事後学習チャンク8

学習

事前学習アクセラレータ

H100 256枚(事前) + H100 128枚(ミッド)

事前学習期間

非公開(GPU時間のみ明示)

事前学習ステップ・バッチ

事前 100k steps・batch 512; 中間 50k steps・batch 128(論文)/256(README)

GPU・TPU時間

9,728 (明示(約) · H100時間 (Sec 4.1; Sec 2.2では9,216))

ファインチューニング

LoRA r=32、LIBEROのコマンドでGPU 64枚(8ノード×8)、global batch 128、40k–80k steps; 時間は非公開

データ種類

実ロボットのテレオペレーション + シミュレーション・合成(深度・軌跡の補助アノテーション) + Web視覚言語

データ規模

事前 26.3Mサンプル(ロボット10.5M、深度1.5M、軌跡1.5M、軌跡条件10.5M、Web 2M); 中間 MolmoAct Dataset 10,689軌跡・93タスク

主要データセット

RT-1(Fractal), BridgeData V2, BC-Z, MolmoAct Dataset

タスク・評価

SimplerEnv Google Robotビジュアルマッチングでゼロショット70.5%(ファインチューニング71.6%、バリアント集計72.1%); LIBERO 86.6%; 実機Franka単腕+10%・双腕+22.7%(π0-FAST比)

ロボット

Franka単腕・双腕、Googleロボット(SimplerEnv)、LIBEROシミュレーション

推論

推論デバイス・速度

非公開

推論メモリ

非公開

重み bf16(計算)

14 GB

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 深度・軌跡推論の教師あり学習

ベース制御

固定 · ベース制御なし (Franka腕・シミュレーション)

備考

主な特徴

深度認識と視覚軌跡を経てアクションを出力する「アクション推論モデル」である。重み・データ・学習コードをすべて公開した。

備考

ミッドトレーニング 2,304 H100時間はGPU時間欄から除いた(合計すると12,032)。論文内で事前学習GPU時間が9,728(Sec 4.1)と9,216(Sec 2.2)で異なる。自社データは常勤作業者5人が2か月間収集した。

検証

確認