Diffusion Policy (Transformer)
Columbia University; Toyota Research Institute; MIT; Stanford University · 2023-03
VA参考基线(2024年以前)去噪器 9M（仿真，含Block Push）·80M（Kitchen，真实Push-T）+ 视觉编码器 22M（Transport 45M，Block Push 0）diffusion
以Transformer去噪器实现与CNN变体相同扩散策略的变体。
论文
Diffusion Policy: Visuomotor Policy Learning via Action DiffusionarXiv 2303.04137
概述
- 分类
- 参考基线(2024年以前)
- 类型
- VA
- 发布
- 2023-03
- 机构
- Columbia University; Toyota Research Institute; MIT; Stanford University
- 权重公开
- 是
- 参数
- 去噪器 9M（仿真，含Block Push）·80M（Kitchen，真实Push-T）+ 视觉编码器 22M（Transport 45M，Block Push 0）
架构
- 主干LLM
- 无
- 视觉编码器
- ResNet-18
- 动作头
- minGPT式扩散Transformer (8层) (diffusion)
- 动作块
- 预测16 · 执行8
- 控制频率
- 10 Hz
- 架构原文摘要
- ResNet-18(无预训练) + minGPT型时序扩散Transformer(通常8层,嵌入256或768;观测cross-attention, causal attention);动作序列Tp 16·Ta 8,真实10 Hz
训练
- 预训练加速器
- 不适用
- 预训练时长
- 不适用
- 预训练步数·批量
- 不适用
- GPU·TPU-小时
- 未公开
- 微调
- 按任务：训练GPU未公开；与CNN变体相同的epoch预算（图像 3000·状态 4500），warmup 1000；真实Push-T固定12小时；(二手) CARP论文重测 V100 10.83 GPU-小时（基于状态的Square）
- 数据类型
- 仿真·合成；真实机器人遥操作
- 数据规模
- 仿真与CNN变体相同；真实Push-T 136条演示
- 主要数据集
- Robomimic; Push-T; Block Push; Franka Kitchen; 自采真实Push-T
- 任务·评估
- 与CNN变体相同的仿真集；真机Push-T
- 机器人
- UR5(真实Push-T)
推理
- 推理设备·速度
- 论文：DDIM 10步 0.1秒（RTX 3080，未区分变体）；(二手) VQ-BeT论文实机测量 DP-T 573.49 ms（RTX A4000）·5,243.82 ms（CPU）
- 推理显存
- 未公开
- 权重 bf16（计算）
- 0.2 GB
- 运行位置
- 本地PC
强化学习与底盘
- 强化学习
- 未使用 · 模仿学习（扩散行为克隆）
- 底盘控制
- 固定 · 无底盘控制（UR5机械臂）
备注
- 核心特点
- 以Transformer去噪器实现与CNN变体相同扩散策略的变体。仿真去噪器为9M，小于CNN变体(256M)。
- 备注
- 参数(B)为真实Push-T设置#D 80M + #V 22M之和(论文分别标注)。仿真检查点公开于训练日志文件夹。所属机构增加Stanford(已修正)。
- 核验
- 已反映修正