VLA 图库 / 模型列表 / VA

UMI

Stanford University; Columbia University; Toyota Research Institute · 2024-02

VAVA未公开diffusion

用装有GoPro的手持夹爪在无机器人的情况下采集演示,并迁移到机器人策略。

论文

Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild RobotsarXiv 2402.10329

概述

分类

VA

类型

VA

发布

2024-02

机构

Stanford University; Columbia University; Toyota Research Institute

权重公开

部分

参数

未公开

架构

主干LLM

无

视觉编码器

CLIP ViT-B/16 (按任务ResNet-34·ViT-L/14)

动作头

CNN U-Net扩散 (DDIM 16步) (diffusion)

动作块

执行6步

控制频率

10 Hz (投掷20 Hz)

架构原文摘要

Diffusion Policy CNN U-Net(DiffusionUnetTimmPolicy，down_dims 256·512·1024) + 视觉编码器CLIP ViT-B/16(杯子·洗碗)·ResNet-34(投掷·布料，无预训练)·CLIP ViT-L/14(户外)；DDIM训练50·推理16步，动作Ta 6，10 Hz(投掷20 Hz)

训练

预训练加速器

不适用

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

按任务（GPU·epoch·批量）：杯子 A10G 4张·250·512，投掷 A10G 4张·350·1024，布料 A10G 4张·100·1024，洗碗 A10G 8张·90·224，户外杯子 A100 8张·50·512；时间未公开；README '已确认可用RTX3090 24GB单GPU训练'

数据类型

人类视频(手持GoPro夹爪演示，SLAM跟踪)

数据规模

每项任务杯子305、投掷280、布料250、洗碗258回合；户外杯子1,400条演示(30个地点，12人时，演示者3名)

主要数据集

UMI自采

任务·评估

杯子排列，动态投掷，双臂叠布，洗碗，户外杯子排列(30个地点)

机器人

单臂·双臂机器人（型号笔记未注明）；采集使用手持夹爪

推理

推理设备·速度

硬件·延迟未公开

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 人类手持演示模仿学习

底盘控制

固定 · 无底盘控制（仅机械臂；数据由手持夹爪采集）

备注

核心特点

用装有GoPro的手持夹爪在无机器人的情况下采集演示,并迁移到机器人策略。对齐传感器·机器人延迟,3名演示者以12人时在30个地点采集了1,400条演示。

备注

夹爪BoM 73美元，GoPro·配件 298美元；155°鱼眼镜头·侧面镜·IMU辅助ORB-SLAM3。公开了户外杯子检查点（微调CLIP ViT-L）。仓库默认设置（120 epoch，批量 64）与论文按任务设置不同。

核验

已确认