Diffusion Policy (CNN)
Columbia University; Toyota Research Institute; MIT; Stanford University · 2023-03
VA参考基线(2024年以前)去噪器 256M（仿真，Transport 264M）·67M（真实任务）+ 视觉编码器 22M（Transport 45M，基于状态为0）diffusion
通过扩散去噪生成动作序列，以处理多峰动作分布的策略。
论文
Diffusion Policy: Visuomotor Policy Learning via Action DiffusionarXiv 2303.04137
概述
- 分类
- 参考基线(2024年以前)
- 类型
- VA
- 发布
- 2023-03
- 机构
- Columbia University; Toyota Research Institute; MIT; Stanford University
- 权重公开
- 是
- 参数
- 去噪器 256M（仿真，Transport 264M）·67M（真实任务）+ 视觉编码器 22M（Transport 45M，基于状态为0）
架构
- 主干LLM
- 无
- 视觉编码器
- ResNet-18
- 动作头
- 1D CNN U-Net扩散 (DDIM 10–16步) (diffusion)
- 动作块
- 预测16 · 执行8
- 控制频率
- 10 Hz
- 架构原文摘要
- ResNet-18(无预训练, spatial softmax, GroupNorm) + FiLM条件1D时间轴CNN U-Net;DDPM动作序列生成(To 2, Ta 8, Tp 16),训练100步·推理DDIM 10–16步,真实10 Hz
训练
- 预训练加速器
- 不适用
- 预训练时长
- 不适用
- 预训练步数·批量
- 不适用
- GPU·TPU-小时
- 未公开
- 微调
- 按任务：训练GPU未公开（论文·README）；图像 3000·状态 4500 epoch，批量 64（图像）·256（状态），lr 1e-4，warmup 500；真实Push-T每种方法固定12小时；(二手) CARP论文重测 V100 12.17 GPU-小时（基于状态的Square，200条轨迹）
- 数据类型
- 仿真·合成；真实机器人遥操作
- 数据规模
- Robomimic每项任务200(熟练)·300(混合)条演示，Push-T 200，Block Push 1,000(脚本)，Kitchen 566；真实Push-T 136，源任务50(90%用于训练)，Egg Beater 210，Mat Unrolling 162，Shirt Folding 284；Mug Flipping未公开†
- 主要数据集
- Robomimic; Push-T; Block Push; Franka Kitchen; 自采真实演示
- 任务·评估
- Robomimic Lift·Can·Square·Transport·ToolHang, Push-T, Block Push, Franka Kitchen; 真实Push-T(UR5), Mug Flipping, Sauce Pouring·Spreading(Franka), 双臂Egg Beater·Mat Unrolling·Shirt Folding(Franka)
- 机器人
- UR5(真实Push-T)；Franka(源任务2项，双臂任务3项)；Mug Flipping所用机器人笔记中未注明
推理
- 推理设备·速度
- 0.1秒(RTX 3080，DDIM 10步)
- 推理显存
- 未公开
- 权重 bf16（计算）
- 0.6 GB
- 运行位置
- 本地PC
强化学习与底盘
- 强化学习
- 未使用 · 模仿学习（扩散行为克隆）
- 底盘控制
- 固定 · 无底盘控制（UR5·Franka机械臂）
备注
- 核心特点
- 通过扩散去噪生成动作序列，以处理多峰动作分布的策略。被2024–2025年众多VA论文用作标准对比基线。
- 备注
- 参数(B)为最大设置Transport的#D 264M + #V 45M之和(论文分别标注)。真实任务行均为#D 67M·#V 22M。仿真检查点公开于训练日志文件夹。期刊版v5(2024-03)新增双臂任务。所属机构增加Stanford(已修正)。
- 核验
- 已反映修正