ScaleDP
East China Normal University; Midea Group AI Research Center; Shanghai University; Beijing Innovation Center of Humanoid Robotics · 2024-09†
VAVATi 10M, S 33M, B 130M, L 457M, H 1Bdiffusion
将扩散策略Transformer从10M扩大到1B,报告了性能提升。
论文
Scaling Diffusion Policy in Transformer to 1 Billion Parameters for Robotic ManipulationarXiv 2409.14411
概述
- 分类
- VA
- 类型
- VA
- 发布
- 2024-09†
- 机构
- East China Normal University; Midea Group AI Research Center; Shanghai University; Beijing Innovation Center of Humanoid Robotics
- 权重公开
- 未核实
- 参数
- Ti 10M, S 33M, B 130M, L 457M, H 1B
架构
- 主干LLM
- 无
- 视觉编码器
- 未注明
- 动作头
- DiT式扩散Transformer (最大1B) (diffusion)
- 动作块
- 未注明
- 控制频率
- 未公开
- 架构原文摘要
- DiT式扩散Transformer(AdaLN观测·时间步条件,无掩码self-attention);6D动作(位置x·y·z,旋转roll·pitch·yaw) C步动作块(C未注明);观测编码器未注明
训练
- 预训练加速器
- 不适用
- 预训练时长
- 不适用
- 预训练步数·批量
- 不适用
- GPU·TPU-小时
- 未公开
- 微调
- 未公开(GPU·时间·epoch·步数·批量在论文·项目页面中均没有)
- 数据类型
- 仿真·合成;真实机器人遥操作
- 数据规模
- MetaWorld每任务20条演示;真实每任务100条轨迹(合上笔记本40条)
- 主要数据集
- MetaWorld;自有Franka·UR5数据
- 任务·评估
- MetaWorld 50项任务(3个种子);真实Franka 4项任务(Close Laptop, Flip Mug, Stack Cube, Place Tennis),双臂UR5 3项任务(网球装包、扫垃圾、双臂堆方块);相对DP-T MetaWorld +21.6%(项目页面),真实单臂+36.25%·双臂+75%(arXiv)/真实4项任务+22.5%(项目页面)
- 机器人
- Franka(ZED相机2台);UR5双臂(RealSense 3台)
推理
- 推理设备·速度
- 未公开
- 推理显存
- 未公开
- 权重 bf16(计算)
- 2 GB
- 运行位置
- 未公开
强化学习与底盘
- 强化学习
- 未使用 · 仅使用模仿学习(行为克隆)
- 底盘控制
- 固定 · 无底盘控制(Franka·UR5双臂)
备注
- 核心特点
- 将扩散策略Transformer从10M扩大到1B,报告了性能提升。虽是1B模型,却完全未公开训练计算量。
- 备注
- 发布月份2024-09与arXiv ID前缀一致,但v1日期无法确认(†)。实际提升幅度在arXiv摘要和项目页面中不同,因此两者并列(已修正)。项目页面标注被ICRA 2025接收,代码为DexVLA GitHub链接,未找到权重。
- 核验
- 已反映修正
同类其他模型
- Mobile ALOHA2024-01
- ALOHA Unleashed2024-10
- HPT2024-09
- BAKU2024-06
- VQ-BeT2024-03
- UMI2024-02
- DP32024-03
- Data Scaling Laws2024-10
- RISE2024-04
- Robot Utility Models (RUM)2024-09
- EgoMimic2024-10
- InterACT2024-09†
- CARP2024-12†
- Dense Policy2025-03
- Chain-of-Action2025-06
- BRS (WB-VIMA)2025-03