VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

villa-X

Microsoft Research·Tsinghua University·Wuhan University·HKUST·Nanjing University · 2025-07

VLA自己回帰・潜在アクションVLALAM 955Mflow matching

潜在アクションを中間計画とし、ロボットアクション専門家と共に学習する。

論文

villa-X: Enhancing Latent Action Modeling in Vision-Language-Action ModelsarXiv 2507.23682

概要

分類

自己回帰・潜在アクションVLA

タイプ

VLA

発表

2025-07

機関

Microsoft Research·Tsinghua University·Wuhan University·HKUST·Nanjing University

重み公開

一部

パラメータ

LAM 955M(README); actorは非公開

構造

バックボーンLLM

非公開

ビジョンエンコーダ

非公開

アクションヘッド

潜在アクション専門家 + flow matchingロボットアクション専門家 (flow matching)

チャンク

非公開

制御周期

非公開

構造の原文要約

潜在アクションモデル(LAM) + actor(潜在アクション専門家・ロボットアクション専門家); ロボットアクションはflow matchingで生成

学習

事前学習アクセラレータ

LAM: A100 128枚; actor: A100 64枚

事前学習期間

LAM 約4日; actor 4日

事前学習ステップ・バッチ

非公開

GPU・TPU時間

6,144 (換算 · A100-時間 (actor 64 × 96 h; LAM 128 × 約96 h = 12,288は別))

ファインチューニング

非公開

データ種類

実ロボットのテレオペレーション + 人の動画

データ規模

ロボット 1.6M 軌跡(223.5M フレーム) + 人の動画 3.6M クリップ

主要データセット

Fractal、BridgeData V2、Something-Something V2など(LAM混合比 Fractal 10%・Bridge V2 10%・SSv2 100%)

タスク・評価

SIMPLER Google Robot 77.7%・WidowX 62.5%; 実機Realmanグリッパー・XArmハンド

ロボット

Googleロボット・WidowX(SIMPLER)、Realmanアーム(グリッパー)、XArm(ハンド)

推論

推論デバイス・速度

非公開

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 潜在アクション事前学習 + 模倣学習

ベース制御

固定 · ベース制御なし (腕・ハンド)

備考

主な特徴

潜在アクションを中間計画とし、ロボットアクション専門家と共に学習する。ロボット1.6M軌跡と人間動画3.6Mクリップで事前学習した。

備考

ノートの「コンピュート非公開」と「データ比率のみ」は検証で修正された。GPU時間はactor事前学習のみで、LAMを加えると約18,432 A100時間である。重みはLAMのみ公開された。

検証

修正反映