UMI on Legs

Stanford University·Columbia University·Google DeepMind · 2024-07

VA移动操作未公开diffusion

用UMI手持演示训练的diffusion操作策略输出任务坐标系末端轨迹，由仿真RL训练的以操作为中心的全身控制器(WBC)跟踪，以四足+机械臂执行。

论文

主干LLM: 无
视觉编码器: CLIP视觉编码器(预训练，变体未注明；腕部GoPro)
动作头: 末端位姿轨迹diffusion（位置3+6D旋转，最多64步）→ RL WBC (diffusion)
动作块: 64步(投掷)·32(推)·16(杯子)，执行40·10·8
控制频率: 策略5–12 Hz，WBC 50 Hz
架构原文摘要: Diffusion Policy(U-Net·DDIM，预训练CLIP视觉编码器) → 相机坐标下末端位姿轨迹(3D位置+6D旋转) 64步(投掷)·32(推)·16(杯子)，以5–12 Hz执行 → 转换到任务坐标 → RL MLP WBC输出腿12·臂6关节位置目标50 Hz

预训练加速器: 不适用
预训练时长: 不适用
预训练步数·批量: 不适用
GPU·TPU-小时: 未公开
微调: 按任务训练：WBC为仿真RL(legged_gym PPO·IsaacGym，仿真对比实验4000 iter)，操作DP为按任务BC(投掷500·推25条轨迹；杯子复用UMI公开检查点)；GPU·时间未公开
数据类型: 人类视频 / 仿真·合成
数据规模: UMI手持演示投掷500·推25条轨迹；杯子重摆为用1,400条UMI数据轨迹训练的公开检查点；WBC在仿真中学习跟踪UMI末端轨迹
主要数据集: UMI演示(投掷·推为自采；杯子重摆为UMI公开数据)
任务·评估: 真实机器人每任务20次：动态投掷75%(动捕)/70%(iPhone)，全身推动(10 lb壶铃)95%/90%，杯子重新摆放85%/80%(UMI策略无修改移植)
机器人: Unitree Go2四足(12-DoF) + ARX5 6-DoF机械臂(Finray夹爪·GoPro)；定位用动捕或iPhone 15 Pro ARKit

推理设备·速度: DP：远程台式机RTX 4090(联网)，按任务以5–12 Hz执行(设计为1–5 Hz低频策略)；WBC：在Go2机载CPU上MLP前向约0.06 ms，50 Hz
推理显存: 未公开
权重 bf16（计算）: 未公开
运行位置: 远程RTX 4090(策略) + Go2机载(WBC)

强化学习: 部分 (结合RL底层控制器) · 操作策略仅用BC(diffusion)；只有腿+臂WBC用仿真RL(legged_gym PPO)学习末端轨迹跟踪
强化学习依据: https://arxiv.org/abs/2407.10353
底盘控制: 四足 (指令/潜变量 → RL行走控制器) · 策略输出任务坐标系末端轨迹 → RL WBC生成腿·臂关节目标(底盘移动由WBC决定)

核心特点: 用UMI手持演示训练的diffusion操作策略输出任务坐标系末端轨迹，由仿真RL训练的以操作为中心的全身控制器(WBC)跟踪，以四足+机械臂执行。将固定臂用UMI公开策略不经修改移植到四足，投掷·推·杯子重摆在真实机器人上均达到70%以上成功率。
备注: WBC的GPU·并行环境数·训练时间论文未注明(README：基于legged_gym PPO·IsaacGym)；CLIP编码器变体未注明(UMI原论文杯子策略为ViT-B/16)；代码·WBC检查点·轨迹数据已公开，投掷·推DP检查点是否公开未核实；CoRL 2024。基础：Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots (arXiv 2402.10329) — 将UMI演示数据·策略·代码扩展到四足平台(论文·README明示)
核验: 已确认