VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

LAPA

KAIST·University of Washington·Microsoft Research·NVIDIA·Allen Institute for AI · 2024-10

VLA自己回帰・潜在アクションVLA7B潜在アクション

アクションラベルのないロボット・人の動画から潜在アクションを学習し、VLAを事前学習する。

論文

Latent Action Pretraining from VideosarXiv 2410.11758

概要

分類

自己回帰・潜在アクションVLA

タイプ

VLA

発表

2024-10

機関

KAIST·University of Washington·Microsoft Research·NVIDIA·Allen Institute for AI

重み公開

あり

パラメータ

7B(LWM-Chat-1M); LAQのサイズは非公開

構造

バックボーンLLM

LWM-Chat-1M 7B (Llama 2 7B構成)

ビジョンエンコーダ

LWMビジョントークナイザ

アクションヘッド

潜在アクショントークン → アクションデコーダ (潜在アクション)

チャンク

非公開

制御周期

非公開

構造の原文要約

LWM-Chat-1M 7B; 潜在アクショントークン(LAQ VQ-VAE、語彙8・長さ4、0.6秒先のフレーム) → ファインチューニングで実アクション

学習

事前学習アクセラレータ

H100 8枚

事前学習期間

34 h

事前学習ステップ・バッチ

batch 128(論文)/256・70K steps(README)

GPU・TPU時間

272 (明示 · H100時間)

ファインチューニング

A100 80GB 4枚(README)、学習アクション精度95%到達まで; 時間は非公開

データ種類

実ロボットのテレオペレーション(アクション不使用の動画) + 人の動画

データ規模

OXE 970kデモ(アクション不使用) + SSv2 220K映像; Bridgev2 60k・LangTable 181k軌跡

主要データセット

Open X-Embodiment, Something-Something V2, BridgeData V2, Language Table

タスク・評価

LangTable; SIMPLER(WidowX、マルチタスク100軌跡でファインチューニング); 実機卓上3タスク; 実機平均50.1%(OpenVLA 43.9%)

ロボット

LangTableシミュレーション、WidowX(SIMPLER)、実機卓上ロボット

推論

推論デバイス・速度

非公開

推論メモリ

非公開

重み bf16(計算)

14 GB

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 潜在アクション事前学習 + 模倣学習ファインチューニング

ベース制御

固定 · ベース制御なし (卓上アーム)

備考

主な特徴

アクションラベルのないロボット・人の動画から潜在アクションを学習し、VLAを事前学習する。272 H100時間でOpenVLA比30~40倍効率的と主張する。

備考

30~40倍の効率は、H100がA100より2~3倍速いという著者の仮定に依存する。LAQ学習の計算量は非公開である。

検証

確認