VLA ギャラリー / モデル一覧 / ヒューマノイド全身制御器

iDP3

iDP3 (Improved 3D Diffusion Policy)

Stanford·SFU·UPenn·UIUC·CMU · 2024-10

VAヒューマノイド全身制御器非公開diffusion

一人称3D点群拡散方策で、ヒューマノイド上半身の操作をオンボード計算のみで15 Hzで行う。

論文

Generalizable Humanoid Manipulation with Improved 3D Diffusion PoliciesarXiv 2410.10803

概要

分類

ヒューマノイド全身制御器

タイプ

VA

発表

2024-10

機関

Stanford·SFU·UPenn·UIUC·CMU

重み公開

あり

パラメータ

非公開

構造

バックボーンLLM

なし

ビジョンエンコーダ

ピラミッド畳み込み点群エンコーダ

アクションヘッド

拡散方策 (DDIM 10ステップ) (diffusion)

チャンク

16ステップ

制御周期

15 Hz

構造の原文要約

ピラミッド畳み込みエンコーダ + 拡散方策(DDIM学習50ステップ・推論10ステップ)、予測ホライズン16; 一人称3Dポイントクラウド(RealSense L515、推論時4096点) + 固有感覚 → 目標関節位置、15 Hz

学習

事前学習アクセラレータ

RTX 4090 × 1 (README)

事前学習期間

非公開

事前学習ステップ・バッチ

300エポック (AdamW)

GPU・TPU時間

非公開

ファインチューニング

該当なし

データ種類

実ロボットのテレオペレーション

データ規模

タスクあたりデモ10個 × ロールアウト10回、3タスク計300エピソード(デモあたり成功20回); 単一の学習シーン

主要データセット

Apple Vision Pro上半身遠隔操作データ(自社)

タスク・評価

学習シーンでPick&Place 9/10、Pour 9/10、Wipe 10/10; 新しい物体・視点・シーンで9/10; 実世界評価2000回以上(Table I 2253エピソード)

ロボット

Fourier GR1(高さ調整式カート上の25-DoF上半身)

推論

推論デバイス・速度

オンボードのロボット計算資源のみでリアルタイム15 Hz

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

オンボード

強化学習・ベース

強化学習

不使用 · 模倣学習(行動クローニング)のみ使用

ベース制御

固定 · 下半身は無効化、移動はカートで代替 (方策は上半身25 DoF関節目標のみ出力)

備考

主な特徴

一人称3D点群拡散方策で、ヒューマノイド上半身の操作をオンボード計算のみで15 Hzで行う。人間のデータで畳み込み層がより滑らかな行動を生むという根拠からピラミッド畳み込みエンコーダを用いる。

備考

拡散バックボーンをTransformerと記述した文がないため、畳み込みエンコーダを根拠に非Transformerに分類。2024-11-04にデータ・3タスクのチェックポイントを公開(README)。検証はREADMEの値(学習GPU・公開日)のみが対象。

検証

確認