VLA ギャラリー / モデル一覧 / モバイルマニピュレーション

UMI on Legs

Stanford University·Columbia University·Google DeepMind · 2024-07

VAモバイルマニピュレーション非公開diffusion

UMIハンドヘルドデモで学習したdiffusion操作方策がタスク座標の末端軌跡を出力し、シミュレーションRLで学習した操作中心の全身制御器(WBC)がそれを追従して四足+アームで実行する。

論文

バックボーンLLM: なし
ビジョンエンコーダ: CLIPビジョンエンコーダ(事前学習、変形は記載なし; 手首GoPro)
アクションヘッド: 手先姿勢軌跡のdiffusion(位置3+6D回転、最大64ステップ) → RL WBC (diffusion)
チャンク: 64ステップ(投げ)・32(押し)・16(カップ)、実行 40・10・8
制御周期: 方策5–12 Hz、WBC 50 Hz
構造の原文要約: Diffusion Policy(U-Net・DDIM、事前学習CLIPビジョンエンコーダ) → カメラ座標の先端姿勢軌跡(3D位置+6D回転) 64ステップ(投げ)・32(押し)・16(カップ)、5–12 Hzで実行 → タスク座標変換 → RL MLP WBCが脚12・腕6関節の位置目標を50 Hzで出力

事前学習アクセラレータ: 該当なし
事前学習期間: 該当なし
事前学習ステップ・バッチ: 該当なし
GPU・TPU時間: 非公開
ファインチューニング: タスク別学習: WBCはシミュレーションRL(legged_gym PPO・IsaacGym、シミュレーション比較実験4000 iter)、操作DPはタスク別BC(投げ500・押し25軌跡; カップはUMI公開チェックポイントを再利用); GPU・時間は非公開
データ種類: 人の動画 / シミュレーション・合成
データ規模: UMIハンドヘルドデモ投げ500・押し25軌跡; カップ再配置はUMIデータ1,400軌跡で学習された公開チェックポイント; WBCはシミュレーションでUMI末端軌跡の追跡を学習
主要データセット: UMIデモ(投げ・押しは自前収集; カップ再配置はUMI公開データ)
タスク・評価: 実ロボットタスクあたり20回: 動的投げ 75%(モーキャプ)/70%(iPhone)、全身押し(10 lbケトルベル) 95%/90%、カップ再配置 85%/80%(UMI方策を無改変で移植)
ロボット: Unitree Go2四足(12-DoF) + ARX5 6-DoFアーム(Finrayグリッパー・GoPro); 位置推定はモーキャプまたはiPhone 15 Pro ARKit

推論デバイス・速度: DP: リモートデスクトップ RTX 4090(インターネット接続)、課題別に5–12 Hzで実行(1–5 Hzの低周波方策として設計); WBC: Go2オンボードCPUでMLP順伝播約0.06 ms、50 Hz
推論メモリ: 非公開
重み bf16(計算): 非公開
実行場所: リモートRTX 4090(方策) + Go2オンボード(WBC)

強化学習: 一部 (RL下位制御器との結合) · 操作方策はBC(diffusion)のみ; 脚+アームのWBCのみシミュレーションRL(legged_gym PPO)で手先軌跡追従を学習
強化学習の根拠: https://arxiv.org/abs/2407.10353
ベース制御: 四足歩行 (指令・潜在 → RL歩行制御器) · 方策がタスク座標の手先軌跡を出力 → RL WBCが脚・アーム関節目標を生成(ベース移動はWBCが決定)

主な特徴: UMIハンドヘルドデモで学習したdiffusion操作方策がタスク座標の末端軌跡を出力し、シミュレーションRLで学習した操作中心の全身制御器(WBC)がそれを追従して四足+アームで実行する。固定アーム用のUMI公開方策を修正なしで四足に移植し、投げ・押し・カップ再配置のいずれも実ロボットで70%以上成功した。
備考: WBCのGPU・並列環境数・学習時間は論文に記載なし(README: legged_gym PPO・IsaacGymベース); CLIPエンコーダのバリアントは記載なし(UMI原論文のカップ方策はViT-B/16); コード・WBCチェックポイント・軌跡データは公開、投げ・押しのDPチェックポイント公開は未確認; CoRL 2024。ベース: Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots (arXiv 2402.10329) — UMIのデモデータ・方策・コードを四足プラットフォームへ拡張(論文・READMEに明記)
検証: 確認