VLA 图库 / 模型列表 / 产业界模型

AutoRT

Google DeepMind · 2024-01

기타产业界模型不适用其他

是用LLM·VLM协调机器人群体、大规模采集真实环境数据的系统，而非模型。

论文

AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic AgentsarXiv 2401.12963

概述

分类

产业界模型

类型

기타

发布

2024-01

机构

Google DeepMind

权重公开

否

参数

不适用

架构

主干LLM

PaLI·FlexCap VLM + LLM (名称未注明)

视觉编码器

—

动作头

由RT-1·RT-2·脚本·遥操作策略采集 (其他)

动作块

未公开

控制频率

未公开

架构原文摘要

系统：VLM(PaLI，FlexCap)描述场景 → LLM提出·筛选任务 → 用RT-1/RT-2/脚本/遥操作策略采集

训练

预训练加速器

不适用

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

不适用(用采集数据对RT-1进行co-finetuning，计算未公开)

数据类型

真实机器人自主采集(脚本策略·遥操作·RT-2)

数据规模

77,000 trials，6,650 unique instructions，7个月；scripted 73,293 episodes(成功21%)，teleop 3,060(82%)，RT-2 936(4.7%)

主要数据集

AutoRT采集数据(自有)

任务·评估

RT-1 co-finetuning时高度泛化抓取0%→12.5%,擦拭10%→30%

机器人

同时运营移动操作机器人 20台以上（博客：共52台），办公楼 4处

推理

推理设备·速度

不适用

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 数据采集系统（用RT-1·RT-2策略·脚本·遥操作采集）

底盘控制

固定 · 底盘移动由独立导航栈完成（基于地图的目标采样）；采集策略（RT-2·脚本·遥操作）仅负责操作

备注

核心特点

是用LLM·VLM协调机器人群体、大规模采集真实环境数据的系统，而非模型。以基于修改版Asimov原则的'robot constitution'按安全性标准筛选任务。

备注

是数据采集系统（非模型），因此类型为其他。监督比例：移动型每人3~5台，固定型每人最多8台。博客用'tasks'代替'instructions'。

核验

未验证