VLA ギャラリー / モデル一覧 / 自己回帰・潜在アクションVLA

RoboFlamingo

ByteDance Research·Tsinghua University·SJTU·NUS · 2023-11

VLA自己回帰・潜在アクションVLAOpenFlamingo 3B/4B/9B回帰

VLMを固定してresampler・クロスアテンション・方策ヘッドのみを学習する連続アクションVLAである。

論文

Vision-Language Foundation Models as Effective Robot ImitatorsarXiv 2311.01378

概要

分類

自己回帰・潜在アクションVLA

タイプ

VLA

発表

2023-11

機関

ByteDance Research·Tsinghua University·SJTU·NUS

重み公開

あり

パラメータ

OpenFlamingo 3B/4B/9B; 学習パラメータ1B(Table 2)

構造

バックボーンLLM

MPT・RedPajama系 · OpenFlamingo 3B/9B

ビジョンエンコーダ

CLIP ViT-L/14

アクションヘッド

LSTM方策ヘッド (連続6-DoF) (回帰)

チャンク

非公開

制御周期

非公開

構造の原文要約

OpenFlamingo(CLIP ViT-L/14 + MPT・RedPajama LLM) + LSTM方策ヘッド; 連続アクション(6-DoF相対姿勢MSE + グリッパーBCE)

学習

事前学習アクセラレータ

該当なし(OpenFlamingo VLM重みを使用)

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

A100(80G) 8枚のサーバ1台、GPUあたりbatch 6; MPT-3Bはエポックあたり13 h(3エポック目が最良)、MPT-9Bはエポックあたり26 h(4エポック目が最良)

データ種類

シミュレーション・合成

データ規模

CALVINプレイデータ、言語注釈1%(約24kステップ)

主要データセット

CALVIN

タスク・評価

CALVIN ABCD→D 平均長4.09(HULC 3.06、RT-1 2.45); ABC→D 2.475(README)

ロボット

CALVINシミュレーション

推論

推論デバイス・速度

Hzは非公開; オープンループのアクションシーケンス予測で計算を削減

推論メモリ

非公開

重み bf16(計算)

18 GB

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 模倣学習(行動クローニング)のみ使用

ベース制御

固定 · ベース制御なし (CALVIN腕シミュレーション)

備考

主な特徴

VLMを固定してresampler・クロスアテンション・方策ヘッドのみを学習する連続アクションVLAである。ロボット事前学習なしで、言語アノテーションが1%のCALVINデータで学習する。

備考

2023-11発表のため2024~2025の範囲外だが、割り当てモデルのため含めた。離散トークンではなく連続回帰のVLAであり、パラメータ(B)は最大変形9B基準である。

検証

確認