VLA ギャラリー / モデル一覧 / 参照ベースライン(2024年以前)

Diffusion Policy (Transformer)

Columbia University; Toyota Research Institute; MIT; Stanford University · 2023-03

VA参照ベースライン(2024年以前)デノイザ 9Mdiffusion

CNN変形と同じ拡散方策をTransformerデノイザで実装した変形である。

論文

Diffusion Policy: Visuomotor Policy Learning via Action DiffusionarXiv 2303.04137

概要

分類

参照ベースライン(2024年以前)

タイプ

VA

発表

2023-03

機関

Columbia University; Toyota Research Institute; MIT; Stanford University

重み公開

あり

パラメータ

デノイザ 9M(シミュレーション、Block Push含む)・80M(Kitchen、実機Push-T) + ビジョンエンコーダ 22M(Transport 45M、Block Push 0)

構造

バックボーンLLM

なし

ビジョンエンコーダ

ResNet-18

アクションヘッド

minGPT型拡散Transformer (8層) (diffusion)

チャンク

予測16 · 実行8

制御周期

10 Hz

構造の原文要約

ResNet-18(事前学習なし) + minGPT型時系列拡散Transformer(通常8層、埋め込み256または768; 観測cross-attention、causal attention); 行動列 Tp 16・Ta 8、実機10 Hz

学習

事前学習アクセラレータ

該当なし

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

タスク別: 学習GPUは非公開; CNN変種と同じエポック予算(画像 3000・状態 4500)、warmup 1000; 実機Push-Tは固定12時間; (二次情報) CARP論文の再測定 V100 10.83 GPU時間(状態ベースSquare)

データ種類

シミュレーション・合成; 実ロボットのテレオペレーション

データ規模

シミュレーションはCNN変種と同じ; 実機Push-T 136デモ

主要データセット

Robomimic; Push-T; Block Push; Franka Kitchen; 自前の実機Push-T

タスク・評価

CNN変形と同じシミュレーションセット; 実機Push-T

ロボット

UR5(実機Push-T)

推論

推論デバイス・速度

論文: DDIM 10ステップで0.1秒(RTX 3080、変種の区別なし); (二次情報) VQ-BeT論文の実ロボット測定 DP-T 573.49 ms(RTX A4000)・5,243.82 ms(CPU)

推論メモリ

非公開

重み bf16(計算)

0.2 GB

実行場所

ローカルPC

強化学習・ベース

強化学習

不使用 · 模倣学習(拡散行動クローニング)

ベース制御

固定 · ベース制御なし (UR5腕)

備考

主な特徴

CNN変形と同じ拡散方策をTransformerデノイザで実装した変形である。シミュレーションのデノイザは9MでCNN変形(256M)より小さい。

備考

パラメータ(B)は実機Push-T設定の#D 80M + #V 22Mの合計(論文は別表記)。シミュレーションチェックポイントは学習ログフォルダで公開。所属にStanfordを追加(修正反映)。

検証

修正反映