TidyBot++

TidyBot++ (diffusion policy)

Princeton University·Stanford University·Dexterity · 2024-11

VA移动操作未公开diffusion

用全向(holonomic)动力脚轮底盘和手机遥操作演示，按任务训练Diffusion Policy，同时输出底盘目标位姿与手臂末端目标。

论文

主干LLM: 无
视觉编码器: robomimic CNN编码器(ResNet-18†) · 底座·腕部相机84×84
动作头: DDIM diffusion头 (训练100·推理16步) (diffusion)
动作块: horizon 16中执行8步
控制频率: 10 Hz
架构原文摘要: Diffusion Policy(U-Net hybrid image，官方代码设置)：用robomimic CNN编码器(ResNet-18†)编码底盘·腕部相机84×84 + 底盘位姿·臂状态 → 1D时间轴U-Net，DDIM(训练100·推理16步)；动作为13维绝对目标(底盘x·y·θ + 臂末端位置·6D旋转 + 夹爪)，horizon 16·执行8步，10 Hz

预训练加速器: 不适用
预训练时长: 不适用
预训练步数·批量: 不适用
GPU·TPU-小时: 未公开
微调: 按任务从头训练：GPU笔记本(README：负责训练·推理)，500个epoch(代码默认批量64)，训练时间未公开
数据类型: 真实机器人遥操作
数据规模: 6个任务：open fridge 100次·其余5个任务各50次(共350次)；采集50次需1–2小时(含复位)
主要数据集: 自有手机遥操作演示(真实公寓)
任务·评估: 真实公寓6项任务各10次：open fridge 10/10，wipe countertop 9/10，load dishwasher 7/10，take out trash 10/10，load laundry 7/10，water plant 6/10；差速驱动约束策略wipe countertop 4/10
机器人: TidyBot++：动力脚轮全向轮式底盘(底盘$5–6k) + Kinova Gen3 7-DoF机械臂，Intel NUC迷你PC

推理设备·速度: GPU笔记本推理115 ms(RTX 4080 Laptop，README)，提前200 ms计算下一个动作块以隐藏延迟；策略10 Hz；实时控制在机载Intel NUC
推理显存: 未公开
权重 bf16（计算）: 未公开
运行位置: GPU笔记本(RTX 4080 Laptop)推理 + 机载Intel NUC控制

核心特点: 用全向(holonomic)动力脚轮底盘和手机遥操作演示，按任务训练Diffusion Policy，同时输出底盘目标位姿与手臂末端目标。在真实公寓6项任务中成功6/10~10/10，同等条件下受差速驱动约束的策略在拖地任务中仅为4/10(全向9/10)。
备注: 论文仅将策略描述为'diffusion policy'，结构·频率·延迟以官方GitHub代码·README为准。硬件设计·遥操作·训练·控制代码开源；权重仅公开仿真sim-v1策略检查点（真实任务策略未公开）。模型大小·训练GPU型号·时间未公开。基于：Diffusion Policy: Visuomotor Policy Learning via Action Diffusion (arXiv 2303.04137) — 论文·README在策略训练中直接使用Diffusion Policy（real-stanford/diffusion_policy代码）
核验: 已反映修正