VLA ギャラリー / モデル一覧 / VA

Mobile ALOHA

Stanford University · 2024-01

VAVA非公開CVAE

低コストの全身テレオペレーション移動双腕システムで静的ALOHAデータと共同学習し、タスクあたり20–50デモで移動操作を学習する。

論文

Mobile ALOHA: Learning Bimanual Mobile Manipulation with Low-Cost Whole-Body TeleoperationarXiv 2401.02117

概要

分類

VA

タイプ

VA

発表

2024-01

機関

Stanford University

重み公開

なし

パラメータ

非公開

構造

バックボーンLLM

なし

ビジョンエンコーダ

ResNet18

アクションヘッド

関節 + ベース速度 16次元の回帰 (CVAE)

チャンク

45ステップ

制御周期

50 Hz

構造の原文要約

ACT(事前学習ResNet18、エンコーダ4層・デコーダ7層、hidden 512、FF 3200、8ヘッド); 16次元行動(14-DoF関節位置 + ベース線速度・角速度)、チャンク45; 比較方策 DPチャンク64、VINNチャンク100

学習

事前学習アクセラレータ

該当なし(共同学習)

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

タスク別: ハードウェア・時間・ステップは非公開; ACT バッチ 16・lr 2e-5、DP バッチ 32・lr 1e-4(DDIM 学習 50・推論 10ステップ)

データ種類

実ロボットのテレオペレーション

データ規模

タスクあたり50デモ(5タスク)・20デモ(Cook Shrimp、High Five) + 静的ALOHA 825デモとの共同学習(サンプル比率0.5:0.5)

主要データセット

Mobile ALOHA独自収集; 静的ALOHAデータセット

タスク・評価

Wipe Wine、Cook Shrimp、Rinse Pan、Use Cabinet、Call Elevator、Push Chairs、High Five(7タスク)

ロボット

Mobile ALOHA(移動ベース + 双腕14-DoF)

推論

推論デバイス・速度

RTX 3070 Ti(8GB)ノートPCで収集・推論; 遅延は非公開; カメラ50 Hz

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

オンボード (ノートPCのGPU)

強化学習・ベース

強化学習

不使用 · 模倣学習(静的ALOHAデータとの共同学習)

ベース制御

車輪型 (ベース速度・姿勢を直接出力) · 方策出力にベース目標の並進速度・角速度を含む (16次元中2次元)

備考

主な特徴

低コストの全身テレオペレーション移動双腕システムで静的ALOHAデータと共同学習し、タスクあたり20–50デモで移動操作を学習する。システム費用はオンボード電源・コンピュート込みで3.2万ドルである。

備考

パラメータ・学習ハードウェア・時間すべて非公開(READMEを含む)。主方策はACTで、DP・VINNも評価。

検証

確認