VLA 图库 / 模型列表 / VA

Robot Utility Models (RUM)

New York University; Hello Robot Inc.; Meta · 2024-09

VAVA未公开离散token

用BoM 25美元的iPhone采集工具在约40个环境中每任务收集约1,000条演示，零样本部署到新环境。

论文

Robot Utility Models: General Policies for Zero-Shot Deployment in New EnvironmentsarXiv 2409.05865

概述

分类

VA

类型

VA

发布

2024-09

机构

New York University; Hello Robot Inc.; Meta

权重公开

是

参数

未公开

架构

主干LLM

无

视觉编码器

ResNet34 (HPR初始化)

动作头

VQ动作码 (离散token)

动作块

未公开

控制频率

未公开

架构原文摘要

HPR初始化ResNet34视觉编码器 + VQ-BeT策略(因相对DP的性能·机器人CPU延迟优势而选用);iPhone相机输入

训练

预训练加速器

不适用

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

按任务模型：A100 2张，24–48小时(措辞为'all of our models'，是否按每个模型计不明确)，500个epoch

数据类型

人类视频(手持iPhone Stick-v2演示)

数据规模

每项任务约1,000条演示，约40个环境(每环境平均约25)；开门1,200，抽屉525

主要数据集

Stick-v2自采

任务·评估

开柜门，开抽屉，拿纸巾，拿纸袋，扶起倒下的物体；在未见过的环境中零样本部署

机器人

Hello Robot Stretch(也在xArm 7上测试)

推理

推理设备·速度

Stretch内置CPU，iPhone相机；延迟未公开

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

机载 (Stretch内置CPU)

强化学习与底盘

强化学习

未使用 · 模仿学习。部署时由gpt-4o验证器检测失败并重试

底盘控制

固定 · 假定导航为独立组件；策略在作业位置仅输出相对EE的6D动作

备注

核心特点

用BoM 25美元的iPhone采集工具在约40个环境中每任务收集约1,000条演示，零样本部署到新环境。外部GPT-4o验证器检测失败并触发重试。

备注

验证器gpt-4o-2024-05-13为策略外部组件，策略本身无语言输入。论文明示公开代码·数据·模型·硬件设计。

核验

已确认