VLA ギャラリー / モデル一覧 / VA

UMI

Stanford University; Columbia University; Toyota Research Institute · 2024-02

VAVA非公開diffusion

GoProを付けたハンドヘルドグリッパーでロボットなしにデモを集め、ロボット方策に移す。

論文

Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild RobotsarXiv 2402.10329

概要

分類

VA

タイプ

VA

発表

2024-02

機関

Stanford University; Columbia University; Toyota Research Institute

重み公開

一部

パラメータ

非公開

構造

バックボーンLLM

なし

ビジョンエンコーダ

CLIP ViT-B/16 (課題別にResNet-34・ViT-L/14)

アクションヘッド

CNN U-Net拡散 (DDIM 16ステップ) (diffusion)

チャンク

実行6ステップ

制御周期

10 Hz (投げ動作 20 Hz)

構造の原文要約

Diffusion Policy CNN U-Net(DiffusionUnetTimmPolicy、down_dims 256・512・1024) + ビジョンエンコーダ CLIP ViT-B/16(カップ・皿洗い)・ResNet-34(投げ・布、事前学習なし)・CLIP ViT-L/14(屋外); DDIM 学習50・推論16ステップ、行動Ta 6、10 Hz(投げ 20 Hz)

学習

事前学習アクセラレータ

該当なし

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

タスク別(GPU・エポック・バッチ): カップ A10G 4枚・250・512、投げ A10G 4枚・350・1024、布 A10G 4枚・100・1024、皿洗い A10G 8枚・90・224、屋外カップ A100 8枚・50・512; 時間は非公開; README 'RTX3090 24GB 単一GPUでの学習を確認'

データ種類

人の動画(ハンドヘルドGoProグリッパーのデモ、SLAM追跡)

データ規模

タスクあたりカップ305、投げ280、布250、皿洗い258エピソード; 屋外カップ1,400デモ(30か所、12人時、デモ実施者3人)

主要データセット

UMIで自前収集

タスク・評価

カップ整列、動的投擲、双腕布たたみ、皿洗い、屋外カップ整列(30か所)

ロボット

単腕・双腕ロボット(機種はノートに記載なし); 収集はハンドヘルドグリッパー

推論

推論デバイス・速度

ハードウェア・遅延は非公開

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 人のハンドヘルドデモによる模倣学習

ベース制御

固定 · ベース制御なし (腕のみ; データはハンドヘルドグリッパーで収集)

備考

主な特徴

GoProを付けたハンドヘルドグリッパーでロボットなしにデモを集め、ロボット方策に移す。センサー・ロボットの遅延を合わせ、デモ実施者3名が12人時で30か所において1,400デモを集めた。

備考

グリッパーBoM 73ドル、GoPro・アクセサリー 298ドル; 155°魚眼レンズ・側面ミラー・IMU補助ORB-SLAM3。屋外カップのチェックポイント(ファインチューニング済みCLIP ViT-L)を公開。リポジトリのデフォルト設定(120 エポック、バッチ 64)は論文のタスク別設定と異なる。

検証

確認