VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

WorldVLA

Alibaba DAMO Academy·Hupan Lab·Zhejiang University · 2025-06

VLA自己回帰・潜在アクションVLA非公開離散トークン

アクション生成と次画像予測(ワールドモデル)を一つの自己回帰モデルに統合した。

論文

WorldVLA: Towards Autoregressive Action World ModelarXiv 2506.21539

概要

分類

自己回帰・潜在アクションVLA

タイプ

VLA

発表

2025-06

機関

Alibaba DAMO Academy·Hupan Lab·Zhejiang University

重み公開

あり

パラメータ

非公開(Chameleonベース)

構造

バックボーンLLM

Chameleon 7B

ビジョンエンコーダ

VQ-GAN画像トークン

アクションヘッド

256-binトークン + 画像生成 (離散トークン)

チャンク

10 · 5

制御周期

非公開

構造の原文要約

Chameleon初期化(READMEはLumina-mGPT-7B-768トークナイザを参照); VQ-GAN画像トークン(コードブック8192) + 256-binアクショントークン7個、チャンク K=10(LIBERO-Long)/5、アクションアテンションマスク

学習

事前学習アクセラレータ

非公開

事前学習期間

非公開

事前学習ステップ・バッチ

非公開

GPU・TPU時間

非公開

ファインチューニング

非公開

データ種類

シミュレーション・合成

データ規模

LIBEROデモ(失敗を除外後90/10分割)

主要データセット

LIBERO

タスク・評価

LIBERO平均81.8%(512²、OpenVLA 76.5%)

ロボット

LIBEROシミュレーション

推論

推論デバイス・速度

約3.67 FPS(1フレーム、チャンク)~1.22 FPS(4フレーム、チャンクなし); GPUは記載なし

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 動画・アクション生成の教師あり学習

ベース制御

固定 · ベース制御なし (LIBERO腕シミュレーション)

備考

主な特徴

アクション生成と次画像予測(ワールドモデル)を一つの自己回帰モデルに統合した。チャンク生成時に以前のアクションを隠すアテンションマスクを使う。

備考

READMEのトークナイザパスはChameleon-7Bを示唆するが、パラメータ数は記載されていない。リポジトリは2025-11にRynnVLA-002へアップグレードされた。

検証

確認