VLA ギャラリー / モデル一覧 / モバイルマニピュレーション

TidyBot++

TidyBot++ (diffusion policy)

Princeton University·Stanford University·Dexterity · 2024-11

VAモバイルマニピュレーション非公開diffusion

全方向(holonomic)パワードキャスターベースとスマートフォンテレオペレーションデモでタスク別のDiffusion Policyを学習し、ベース目標姿勢とアーム手先目標を同時に出力する。

論文

バックボーンLLM: なし
ビジョンエンコーダ: robomimic CNNエンコーダ(ResNet-18†) · ベース・手首カメラ84×84
アクションヘッド: DDIM diffusionヘッド (学習100・推論16ステップ) (diffusion)
チャンク: horizon 16のうち8ステップ実行
制御周期: 10 Hz
構造の原文要約: Diffusion Policy(U-Net hybrid image、公式コード設定): robomimic CNNエンコーダ(ResNet-18†)でベース・手首カメラ84×84 + ベース姿勢・腕状態をエンコード → 1D時間軸U-Net、DDIM(学習100・推論16ステップ); 行動13次元の絶対目標(ベース x・y・θ + 腕先端位置・6D回転 + グリッパ)、horizon 16・実行8ステップ、10 Hz

事前学習アクセラレータ: 該当なし
事前学習期間: 該当なし
事前学習ステップ・バッチ: 該当なし
GPU・TPU時間: 非公開
ファインチューニング: タスク別にゼロから学習: GPUノートPC(README: 学習・推論を担当)、500エポック(コードのデフォルトバッチ64)、学習時間は非公開
データ種類: 実ロボットのテレオペレーション
データ規模: 6課題: open fridge 100回・残り5課題は各50回(計350回); 50回の収集に1–2時間(リセット込み)
主要データセット: 独自のスマートフォンテレオペレーションデモ(実際のアパート)
タスク・評価: 実アパート6タスク各10回: open fridge 10/10、wipe countertop 9/10、load dishwasher 7/10、take out trash 10/10、load laundry 7/10、water plant 6/10; 差動駆動制約方策 wipe countertop 4/10
ロボット: TidyBot++: パワードキャスター全方向車輪型ベース(ベース$5–6k) + Kinova Gen3 7-DoFアーム、Intel NUCミニPC

推論デバイス・速度: GPUノートPC推論115 ms(RTX 4080 Laptop、README)、次のチャンクを200 ms前に計算して遅延を隠蔽; 方策10 Hz; リアルタイム制御はオンボードIntel NUC
推論メモリ: 非公開
重み bf16(計算): 非公開
実行場所: GPUノートPC(RTX 4080 Laptop)推論 + オンボードIntel NUC制御

強化学習: 不使用 · 模倣学習のみ(タスク別Diffusion Policy)
ベース制御: 車輪型 (ベース速度・姿勢を直接出力) · 方策がベース目標姿勢(x・y・θ)をアーム目標と共に出力 → 全方向ベースの低レベル制御器が追従

主な特徴: 全方向(holonomic)パワードキャスターベースとスマートフォンテレオペレーションデモでタスク別のDiffusion Policyを学習し、ベース目標姿勢とアーム手先目標を同時に出力する。実際のアパート6タスクで6/10~10/10を成功し、同条件の差動駆動制約方策はモップがけタスクで4/10(全方向9/10)にとどまった。
備考: 論文は方策を'diffusion policy'とのみ記述しており、構造・周波数・遅延は公式GitHubコード・README基準。ハードウェア設計・テレオペレーション・学習・制御コードはオープンソース; 重みはシミュレーションのsim-v1方策チェックポイントのみ公開(実タスク方策は非公開)。モデルサイズ・学習GPU機種・時間は非公開。ベース: Diffusion Policy: Visuomotor Policy Learning via Action Diffusion (arXiv 2303.04137) — 論文・READMEが方策学習にDiffusion Policy(real-stanford/diffusion_policyのコード)をそのまま使用
検証: 修正反映