VLA ギャラリー / モデル一覧 / VA

ALOHA Unleashed

Google DeepMind · 2024-10

VAVA217Mdiffusion

タスク別の拡散Transformerをタスクあたり数千件のテレオペレーションデモで学習し、靴紐結びのような精密な双腕作業を達成した。

論文

ALOHA Unleashed: A Simple Recipe for Robot DexterityarXiv 2410.13126

概要

分類

VA

タイプ

VA

発表

2024-10

機関

Google DeepMind

重み公開

未確認

パラメータ

217M(Base)、150M(Small: エンコーダ17M + デコーダ37M)

構造

バックボーンLLM

なし

ビジョンエンコーダ

ResNet50 × カメラ4台

アクションヘッド

拡散デノイザデコーダ (55M) (diffusion)

チャンク

50ステップ (1秒)

制御周期

50 Hz

構造の原文要約

カメラ4台ごとのResNet50 + Transformerエンコーダ(85M)・拡散デノイザデコーダ(55M); 学習時拡散50ステップ、50行動チャンク(1秒)、目標50 Hz超

学習

事前学習アクセラレータ

該当なし

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

タスク別モデル: TPUv5e 64チップ(JAXデータ並列)、バッチ256、2Mステップ(約265時間); Adam、weight decay 0.001、warmup 5000ステップ後lr 1e-4

データ種類

実ロボットのテレオペレーション; シミュレーション・合成(シミュレーションでの遠隔操作)

データ規模

Shirt 8,658(Easy 5,345・Messy 3,313)、Lace 5,133(2,212・2,921)、FingerReplace 5,247、GearInsert 4,005、RandomKitchen 3,198(in-domain 216); 実機合計26k+エピソード; シミュレーション2,000+(序論)/522・201・550(Table 3)

主要データセット

独自のALOHA 2収集

タスク・評価

実機: ShirtEasy・ShirtMessy、LaceEasy・LaceMessy、FingerReplace、GearInsert-1・2・3、RandomKitchen(Bowl・+Cup・+Fork); シミュレーション: SingleInsertion、DoubleInsertion、MugOnPlate

ロボット

ALOHA 2双腕(ロボット10台、建物2か所)

推論

推論デバイス・速度

順伝播+反復デノイジング 0.043秒(RTX 4090)

推論メモリ

非公開

重み bf16(計算)

0.4 GB

実行場所

ローカルPC

強化学習・ベース

強化学習

不使用 · 模倣学習(拡散)

ベース制御

固定 · ベース制御なし (ALOHA 2 固定双腕)

備考

主な特徴

タスク別の拡散Transformerをタスクあたり数千件のテレオペレーションデモで学習し、靴紐結びのような精密な双腕作業を達成した。オペレーター35人が8か月間ロボット10台で26k+エピソードを収集した。

備考

シミュレーションのデモ数は序論の'2,000+'とTable 3のタスク別値との関係が論文で説明されていない。'2,000+'は要旨ではなく序論の文(修正反映)。シミュレーションのデモも遠隔操作で収集。

検証

修正反映