VLA ギャラリー / モデル一覧 / 参照ベースライン(2024年以前)

Diffusion Policy (CNN)

Columbia University; Toyota Research Institute; MIT; Stanford University · 2023-03

VA参照ベースライン(2024年以前)デノイザ 256Mdiffusion

行動シーケンスを拡散デノイジングで生成し、多峰性の行動分布を扱う方策である。

論文

分類: 参照ベースライン(2024年以前)
タイプ: VA
発表: 2023-03
機関: Columbia University; Toyota Research Institute; MIT; Stanford University
重み公開: あり
パラメータ: デノイザ 256M(シミュレーション、Transport 264M)・67M(実タスク) + ビジョンエンコーダ 22M(Transport 45M、状態ベースは0)

バックボーンLLM: なし
ビジョンエンコーダ: ResNet-18
アクションヘッド: 1D CNN U-Net拡散 (DDIM 10–16ステップ) (diffusion)
チャンク: 予測16 · 実行8
制御周期: 10 Hz
構造の原文要約: ResNet-18(事前学習なし、spatial softmax、GroupNorm) + FiLM条件付き1D時間軸CNN U-Net; DDPMによる行動列生成(To 2、Ta 8、Tp 16)、学習100ステップ・推論DDIM 10–16ステップ、実機10 Hz

事前学習アクセラレータ: 該当なし
事前学習期間: 該当なし
事前学習ステップ・バッチ: 該当なし
GPU・TPU時間: 非公開
ファインチューニング: タスク別: 学習GPUは非公開(論文・README); 画像 3000・状態 4500 エポック、バッチ 64(画像)・256(状態)、lr 1e-4、warmup 500; 実機Push-Tは手法あたり固定12時間; (二次情報) CARP論文の再測定 V100 12.17 GPU時間(状態ベースSquare、200軌跡)
データ種類: シミュレーション・合成; 実ロボットのテレオペレーション
データ規模: Robomimicはタスクあたり200(熟練)・300(混合)デモ、Push-T 200、Block Push 1,000(スクリプト)、Kitchen 566; 実機Push-T 136、ソースタスク50(90%を学習)、Egg Beater 210、Mat Unrolling 162、Shirt Folding 284; Mug Flippingは非公開†
主要データセット: Robomimic; Push-T; Block Push; Franka Kitchen; 自前の実機デモ
タスク・評価: Robomimic Lift·Can·Square·Transport·ToolHang、Push-T、Block Push、Franka Kitchen; 実機Push-T(UR5)、Mug Flipping、Sauce Pouring·Spreading(Franka)、双腕Egg Beater·Mat Unrolling·Shirt Folding(Franka)
ロボット: UR5(実機Push-T); Franka(ソース2タスク、双腕3タスク); Mug Flippingのロボットはノートに明記なし

主な特徴: 行動シーケンスを拡散デノイジングで生成し、多峰性の行動分布を扱う方策である。2024–2025年のVA論文の多くが標準的な比較ベースラインとして用いる。
備考: パラメータ(B)は最大設定Transportの#D 264M + #V 45Mの合計(論文は別表記)。実機タスクの行はすべて#D 67M・#V 22M。シミュレーションチェックポイントは学習ログフォルダで公開。ジャーナル版v5(2024-03)で双腕タスクを追加。所属にStanfordを追加(修正反映)。
検証: 修正反映