VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

Moto

HKU·Tencent ARC Lab(PCG)·CUHK·UC Berkeley · 2024-12

VA自己回帰・潜在アクションVLAGPTバックボーン 98M潜在アクション

動画から学習した潜在モーショントークンでGPTを事前学習した後、実際のアクションに結びつける。

論文

Moto: Latent Motion Token as the Bridging Language for Robot ManipulationarXiv 2412.04445

概要

分類

自己回帰・潜在アクションVLA

タイプ

VA

発表

2024-12

機関

HKU·Tencent ARC Lab(PCG)·CUHK·UC Berkeley

重み公開

あり

パラメータ

GPTバックボーン 98M; トークナイザのサイズは記載なし

構造

バックボーンLLM

なし

ビジョンエンコーダ

VQ-VAE潜在モーショントークン

アクションヘッド

潜在モーショントークン → アクション (潜在アクション)

チャンク

非公開

制御周期

非公開

構造の原文要約

Moto-GPT(12層・768 hidden); VQ-VAE潜在モーショントークン(コードブック128、フレームペアあたり8トークン)、共同ファインチューニングでモーショントークンとアクションを同時に予測

学習

事前学習アクセラレータ

「40G GPU」8枚(Moto-GPT)、4枚(トークナイザ); モデル名は記載なし

事前学習期間

非公開

事前学習ステップ・バッチ

Moto-GPT 10 epochs・batch 512; トークナイザ350k(OXE)/150k(CALVIN) steps・batch 256

GPU・TPU時間

非公開

ファインチューニング

「40G GPU」4枚、3 epochs(RT-1)/18 epochs(CALVIN); 時間は非公開

データ種類

実ロボットのテレオペレーション(動画) + 人の動画

データ規模

事前: OXE 109k軌跡の動画 + SSv2 105kの人の動画; ファイン: RT-1 73k・CALVIN 18k軌跡、実機90デモ

主要データセット

Open X-Embodiment, Something-Something V2, RT-1, CALVIN

タスク・評価

CALVIN ABC→D 平均長3.10; SIMPLER総合0.614; 実機60%

ロボット

RT-1ロボット(SIMPLER)、CALVINシミュレーション、実ロボット(機種記載なし)

推論

推論デバイス・速度

非公開

推論メモリ

非公開

重み bf16(計算)

0.2 GB

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 潜在モーション事前学習 + 模倣学習

ベース制御

固定 · ベース制御なし (腕のみ: SIMPLER Googleロボットは腕の行動のみ)

備考

主な特徴

動画から学習した潜在モーショントークンでGPTを事前学習した後、実際のアクションに結びつける。事前学習済みVLMなしで98Mのバックボーンのみを使う。

備考

事前学習済みVLMがないためVAに分類した。パラメータ(B)はGPTバックボーン98Mを基準とする。検証で所属をHKU・Tencent ARC・CUHK・UC Berkeleyに補完した。

検証

修正反映