VLA 图库 / 模型列表 / 产业界模型

RT-H

Google DeepMind·Stanford University · 2024-03

VLA产业界模型55B离散token

一个模型先预测'move arm forward'之类的language motion再预测动作的分层VLA。

论文

RT-H: Action Hierarchies Using LanguagearXiv 2403.01823

概述

分类

产业界模型

类型

VLA

发布

2024-03

机构

Google DeepMind·Stanford University

权重公开

否

参数

55B(基于PaLI-X 55B)

架构

主干LLM

UL2 32B · PaLI-X 55B配置

视觉编码器

ViT (PaLI-X)

动作头

language motion → 动作token (离散token)

动作块

未公开

控制频率

未公开

架构原文摘要

PaLI-X 55B(ViT编码器 + 编码器-解码器)单一模型;先查询language motion再查询动作,动作空间为end-effector delta位置·旋转、夹爪、底盘移动

训练

预训练加速器

未公开

预训练时长

未公开

预训练步数·批量

batch 1024，lr 1e-3(与PaLI-X训练混合co-training；步数未公开)

GPU·TPU-小时

未公开

微调

未公开（干预训练为每任务纠正 30 episodes）

数据类型

真实机器人演示 + 网络视觉-语言(PaLI-X训练混合)

数据规模

Kitchen 70K demos(6 semantic task categories); Diverse+Kitchen 100K demos(24 categories);自动标注language motion 2,500个以上

主要数据集

自有Kitchen·Diverse演示数据，PaLI-X training mixture

任务·评估

8个任务平均比RT-2高15%；通过干预学习从40%→63%；比RT-2-IWR高出50%；新物体65%(RT-2 55%)

机器人

移动操作机器人（平台名未核实）

推理

推理设备·速度

用asynchronous querying缓解延迟；硬件·延迟·控制频率未公开

推理显存

未公开

权重 bf16（计算）

110 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 模仿学习 + 人类language motion纠正数据

底盘控制

轮式 (直接输出底盘速度/位姿) · 策略9维动作中直接输出2维底盘移动 (语言动作'turn base left'等)

备注

核心特点

一个模型先预测'move arm forward'之类的language motion再预测动作的分层VLA。人在language motion层面介入纠正，并用该纠正数据重新训练。

备注

论文中没有TPU·GPU相关语句。arXiv v1 2024-03-04。所属机构为Google DeepMind和Stanford University。

核验

已确认