VLA ギャラリー / モデル一覧 / VA

BAKU

New York University · 2024-06

VAVA約10M回帰

約10Mパラメータのマルチタスク方策を、コンシューマー級GPU 1枚でベンチマークあたり6–26時間で学習する。

論文

BAKU: An Efficient Transformer for Multi-Task Policy LearningarXiv 2406.07539

概要

分類

VA

タイプ

VA

発表

2024-06

機関

New York University

重み公開

なし

パラメータ

約10M(エンコーダ2.1M + トランク6.5M + ヘッド1.4M); Table 3の変種 4.4M・10M・31M・114M

構造

バックボーンLLM

なし

ビジョンエンコーダ

FiLM ResNet-18

アクションヘッド

MLPヘッド + チャンク平滑化 (回帰)

チャンク

10 (LIBERO) · 3 (DMC)

制御周期

10 Hz

構造の原文要約

FiLM条件付きResNet-18ビジョンエンコーダ + 固有受容感覚 → Transformer観測トランク; MLP行動ヘッド + 行動チャンク(LIBERO・Meta-World 10、DMC 3)・時間平滑化、最新の観測のみ使用、10 Hz

学習

事前学習アクセラレータ

該当なし

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

ベンチマーク別マルチタスクモデル、RTX A4000 1枚: LIBERO-90 600k ステップ・バッチ 64 約10.5時間、Meta-World 600k・64 約8時間、DMC 2M・128 約26時間、xArm 200k・64 約6時間

データ種類

シミュレーション・合成; 実ロボットのテレオペレーション

データ規模

タスクあたり50(LIBERO-90)・35(Meta-World)・500(DMC)デモ; 実機合計520デモ(タスクあたり平均17)

主要データセット

LIBERO-90; Meta-World; DeepMind Control; 独自xArm

タスク・評価

LIBERO-90(90タスク)、Meta-World 30タスク、DeepMind Control 9つの歩行タスク、実機xArm 30タスク

ロボット

xArm単腕; シミュレーション

推論

推論デバイス・速度

実機xArm 10 Hz閉ループ; 遅延は非公開

推論メモリ

非公開

重み bf16(計算)

0.2 GB

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 模倣学習(行動クローニング)のみ使用

ベース制御

固定 · ベース制御なし (xArm単腕・シミュレーション)

備考

主な特徴

約10Mパラメータのマルチタスク方策を、コンシューマー級GPU 1枚でベンチマークあたり6–26時間で学習する。タスクの指定は凍結したMiniLMの文埋め込みか目標画像で行う。

備考

凍結MiniLMテキストタスク埋め込みを使う言語条件の境界事例(VLMバックボーンなし)。パラメータ(B)は最大変種の114M。学習時間はタスク別ではなくベンチマーク別マルチタスクモデル基準。DMC歩行タスクを含む。

検証

確認