VLA 图库 / 模型列表 / VA

DP3

Shanghai Qi Zhi Institute; Shanghai Jiao Tong University; Tsinghua University(IIIS); Shanghai AI Lab · 2024-03

VAVA未公开diffusion

用小型MLP编码稀疏点云，每项任务约10个演示即可训练的3D扩散策略。

论文

3D Diffusion PolicyarXiv 2403.03954

概述

分类

VA

类型

VA

发布

2024-03

机构

Shanghai Qi Zhi Institute; Shanghai Jiao Tong University; Tsinghua University(IIIS); Shanghai AI Lab

权重公开

否

参数

未公开

架构

主干LLM

无

视觉编码器

点云MLP编码器 (64维)

动作头

CNN扩散策略 (DDIM 10步) (diffusion)

动作块

4步 (执行3)

控制频率

未公开

架构原文摘要

点云MLP编码器(3层，通道3·64·128·256，max-pool，投影到64维) + 基于CNN的扩散策略；时域H 4，观测2·执行3步；DDIM训练100·推理10步；点512–1,024个

训练

预训练加速器

不适用

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

按任务：论文中GPU·时间未公开（MetaWorld 1000 epoch，其他 3000 epoch，批量 128）；README：A40 1张约 3小时·GPU显存约 10G，Simple DP3 1–2小时

数据类型

仿真·合成；真实机器人遥操作

数据规模

仿真大多每任务10条演示(DexArt·HORA为100)；真实每任务40条演示

主要数据集

Adroit；Bi-DexHands；DexArt；DexDeform；DexMV；HORA；MetaWorld；自有真实数据

任务·评估

仿真7个领域72项任务(Adroit，Bi-DexHands，DexArt，DexDeform，DexMV，HORA，MetaWorld)；真实Roll-Up，Dumpling，Drill，Pour

机器人

Franka机械臂 + Allegro手·夹爪，RealSense L515

推理

推理设备·速度

DP3 12.7 FPS，DP 12.3 FPS，Simple DP3 25.3 FPS(硬件未注明)

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 仅使用模仿学习（行为克隆）

底盘控制

固定 · 无底盘控制（Franka机械臂 + 手·夹爪）

备注

核心特点

用小型MLP编码稀疏点云，每项任务约10个演示即可训练的3D扩散策略。涵盖7个领域72个仿真任务及灵巧手真实任务。

备注

A40训练时间为官方README的值，而非论文。代码·真实数据公开，无检查点。

核验

已确认