VLA 图库 / 模型列表 / 人形机器人全身控制器

iDP3

iDP3 (Improved 3D Diffusion Policy)

Stanford·SFU·UPenn·UIUC·CMU · 2024-10

VA人形机器人全身控制器未公开diffusion

以第一人称3D点云扩散策略，仅靠机载算力以15 Hz完成人形机器人上身操作。

论文

Generalizable Humanoid Manipulation with Improved 3D Diffusion PoliciesarXiv 2410.10803

概述

分类

人形机器人全身控制器

类型

VA

发布

2024-10

机构

Stanford·SFU·UPenn·UIUC·CMU

权重公开

是

参数

未公开

架构

主干LLM

无

视觉编码器

金字塔卷积点云编码器

动作头

扩散策略 (DDIM 10步) (diffusion)

动作块

16步

控制频率

15 Hz

架构原文摘要

金字塔卷积编码器 + 扩散策略(DDIM训练50步·推理10步)，预测时域16；第一人称3D点云(RealSense L515，推理时4096点) + 本体感觉 → 目标关节位置，15 Hz

训练

预训练加速器

RTX 4090 × 1 (README)

预训练时长

未公开

预训练步数·批量

300个epoch (AdamW)

GPU·TPU-小时

未公开

微调

不适用

数据类型

真实机器人遥操作

数据规模

每项任务10个演示 × 10次rollout，3项任务共300回合(每个演示成功20次)；单一训练场景

主要数据集

Apple Vision Pro上身遥操作数据(自有)

任务·评估

训练场景Pick&Place 9/10，Pour 9/10，Wipe 10/10；新物体·视角·场景9/10；真实世界评估2000次以上(Table I 2253回合)

机器人

Fourier GR1(高度可调推车上的25-DoF上身)

推理

推理设备·速度

仅凭机器人机载算力实时15 Hz

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

机载

强化学习与底盘

强化学习

未使用 · 仅使用模仿学习（行为克隆）

底盘控制

固定 · 下身停用，移动由推车代替 (策略仅输出上身25 DoF关节目标)

备注

核心特点

以第一人称3D点云扩散策略，仅靠机载算力以15 Hz完成人形机器人上身操作。依据人类数据中卷积层能产生更平滑动作这一证据，采用金字塔卷积编码器。

备注

没有将扩散主干描述为Transformer的语句，依据卷积编码器归为非Transformer。2024-11-04公开数据·3个任务检查点(README)。核查仅针对README值(训练GPU·公开日期)。

核验

已确认