VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

UniVLA (BAAI)

CASIA·BAAI·Tsinghua University·HKISI · 2025-06

VLA自己回帰・潜在アクションVLA8.5B離散トークン

ビジョン・言語・アクションを1つの離散トークン列として扱い、ロボット動画でワールドモデルの事後学習を行う。

論文

Unified Vision-Language-Action ModelarXiv 2506.19850

概要

分類

自己回帰・潜在アクションVLA

タイプ

VLA

発表

2025-06

機関

CASIA·BAAI·Tsinghua University·HKISI

重み公開

あり

パラメータ

8.5B(Emu3と同じ)

構造

バックボーンLLM

Emu3 (8.5B)

ビジョンエンコーダ

VQ画像トークン

アクションヘッド

DCT/FASTアクショントークン (動画・アクション交互) (離散トークン)

チャンク

非公開

制御周期

非公開

構造の原文要約

Emu3ベースの統合自己回帰モデル; VQ画像トークン(空間圧縮8) + DCT/FASTアクショントークン(語彙1024)、動画-アクション交互シーケンス

学習

事前学習アクセラレータ

A100(40GB) 32枚

事前学習期間

約4–5日(50k stepsの実行に関する文による)

事前学習ステップ・バッチ

50k steps(A100 32枚の記述); 別の記述では30K steps・batch 64; 256×256 6フレーム、最大シーケンス6400

GPU・TPU時間

非公開

ファインチューニング

CALVIN・LIBEROはbatch 192・8k steps(A100)、SimplerEnvはbatch 128・20k steps・チャンク5; GPU数・時間は非公開

データ種類

実ロボットのテレオペレーション(動画) + シミュレーション・合成 + 人の動画

データ規模

動画622K(ロボットデータセット + SSv2の人の動画)

主要データセット

RT-1, BridgeV2, DROID, Kuka, CALVIN, LIBERO, ManiSkill2, SSv2など

タスク・評価

CALVIN ABC→D 4.41・ABCD→D 4.63; LIBERO平均95.5%; SimplerEnv-Bridge 69.8%; 実機ALOHA

ロボット

ALOHA、CALVIN・LIBERO・SimplerEnvシミュレーション

推論

推論デバイス・速度

非公開

推論メモリ

非公開

重み bf16(計算)

17 GB

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 動画・アクション生成の教師あり学習

ベース制御

固定 · ロボット実験は固定双腕(ALOHA); 自動運転車両の走行評価は別(ロボットのベースではない)

備考

主な特徴

ビジョン・言語・アクションを1つの離散トークン列として扱い、ロボット動画でワールドモデルの事後学習を行う。CALVIN ABC→D 平均長 4.41、LIBERO 95.5%を報告した。

備考

事前学習欄はEmu3上のワールドモデル事後学習段階である(Emu3自体の学習computeは非公開)。検証の結果、'4–5日'は50k stepsの文(App A)、'30K steps・batch 64'は別の文(Sec 4.2)のため合算しなかった。所属はCASIAなどに補完した。OpenDriveLabのUniVLAとは別のモデルである。

検証

修正反映