VLA ギャラリー / モデル一覧 / VA

DP3

Shanghai Qi Zhi Institute; Shanghai Jiao Tong University; Tsinghua University(IIIS); Shanghai AI Lab · 2024-03

VAVA非公開diffusion

疎な点群を小さなMLPでエンコードし、タスクあたり10デモ程度で学習する3D拡散方策である。

論文

3D Diffusion PolicyarXiv 2403.03954

概要

分類

VA

タイプ

VA

発表

2024-03

機関

Shanghai Qi Zhi Institute; Shanghai Jiao Tong University; Tsinghua University(IIIS); Shanghai AI Lab

重み公開

なし

パラメータ

非公開

構造

バックボーンLLM

なし

ビジョンエンコーダ

点群MLPエンコーダ (64次元)

アクションヘッド

CNN拡散方策 (DDIM 10ステップ) (diffusion)

チャンク

4ステップ (実行3)

制御周期

非公開

構造の原文要約

点群MLPエンコーダ(3層、チャネル3・64・128・256、max-pool、64次元射影) + CNNベースの拡散方策; ホライズンH 4、観測2・実行3ステップ; DDIM学習100・推論10ステップ; 点512–1,024個

学習

事前学習アクセラレータ

該当なし

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

タスク別: 論文はGPU・時間を非公開(MetaWorld 1000 エポック、その他 3000 エポック、バッチ 128); README: A40 1枚で約3時間・GPUメモリ約10G、Simple DP3は1–2時間

データ種類

シミュレーション・合成; 実ロボットのテレオペレーション

データ規模

シミュレーションは大半がタスクあたり10デモ(DexArt・HORAは100); 実機はタスクあたり40デモ

主要データセット

Adroit; Bi-DexHands; DexArt; DexDeform; DexMV; HORA; MetaWorld; 自社実データ

タスク・評価

シミュレーション7ドメイン72タスク(Adroit, Bi-DexHands, DexArt, DexDeform, DexMV, HORA, MetaWorld); 実機 Roll-Up, Dumpling, Drill, Pour

ロボット

Frankaアーム + Allegroハンド・グリッパ、RealSense L515

推論

推論デバイス・速度

DP3 12.7 FPS、DP 12.3 FPS、Simple DP3 25.3 FPS(ハードウェアは記載なし)

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 模倣学習(行動クローニング)のみ使用

ベース制御

固定 · ベース制御なし (Franka腕 + ハンド・グリッパー)

備考

主な特徴

疎な点群を小さなMLPでエンコードし、タスクあたり10デモ程度で学習する3D拡散方策である。7ドメイン72個のシミュレーションタスクと器用な手の実機タスクを扱う。

備考

A40の学習時間は論文ではなく公式READMEの値。コード・実データ公開、チェックポイントなし。

検証

確認