VLA 图库 / 模型列表 / VA

ALOHA Unleashed

Google DeepMind · 2024-10

VAVA217Mdiffusion

用按任务训练的扩散Transformer、每个任务数千条遥操作演示进行学习，完成了系鞋带等精细双臂作业。

论文

ALOHA Unleashed: A Simple Recipe for Robot DexterityarXiv 2410.13126

概述

分类

VA

类型

VA

发布

2024-10

机构

Google DeepMind

权重公开

未核实

参数

217M(Base)，150M(Small：编码器17M + 解码器37M)

架构

主干LLM

无

视觉编码器

ResNet50 × 4个相机

动作头

扩散去噪解码器 (55M) (diffusion)

动作块

50步 (1秒)

控制频率

50 Hz

架构原文摘要

4台相机各用ResNet50 + Transformer编码器(85M)·扩散去噪解码器(55M)；训练扩散50步，50动作块(1秒)，目标超过50 Hz

训练

预训练加速器

不适用

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

按任务模型：TPUv5e 64芯片(JAX数据并行)，批量256，2M步(约265小时)；Adam，weight decay 0.001，warmup 5000步后lr 1e-4

数据类型

真实机器人遥操作；仿真·合成(仿真远程操作)

数据规模

Shirt 8,658(Easy 5,345·Messy 3,313), Lace 5,133(2,212·2,921), FingerReplace 5,247, GearInsert 4,005, RandomKitchen 3,198(in-domain 216)；真实共26k+回合；仿真2,000+(引言)/522·201·550(Table 3)

主要数据集

自有ALOHA 2采集

任务·评估

真实：ShirtEasy·ShirtMessy，LaceEasy·LaceMessy，FingerReplace，GearInsert-1·2·3，RandomKitchen(Bowl·+Cup·+Fork)；仿真：SingleInsertion，DoubleInsertion，MugOnPlate

机器人

ALOHA 2双臂(机器人10台，2栋建筑)

推理

推理设备·速度

前向传播+迭代去噪0.043秒(RTX 4090)

推理显存

未公开

权重 bf16（计算）

0.4 GB

运行位置

本地PC

强化学习与底盘

强化学习

未使用 · 模仿学习（扩散）

底盘控制

固定 · 无底盘控制（ALOHA 2固定双臂）

备注

核心特点

用按任务训练的扩散Transformer、每个任务数千条遥操作演示进行学习，完成了系鞋带等精细双臂作业。35名操作员用10台机器人在8个月内收集了26k+条回合。

备注

仿真演示数量中引言的'2,000+'与Table 3各任务值之间的关系论文未说明。'2,000+'出自引言而非摘要(已反映修正)。仿真演示也是远程操作采集。

核验

已反映修正