VLA 图库 / 模型列表 / 人形机器人VLA

GR00T N1.5

NVIDIA · 2025-05

VLA人形机器人VLA3Bflow matching

预训练·后训练均冻结VLM，在flow matching上加FLARE(未来潜在表征对齐)损失(系数0.2)，也能从人类第一视角视频中学习。

论文

无论文 · 相关 GR00T N1: An Open Foundation Model for Generalist Humanoid Robots

概述

分类

人形机器人VLA

类型

VLA

发布

2025-05

机构

NVIDIA

权重公开

是

参数

3B (VLM 2.1B)

架构

主干LLM

Eagle 2.5 VLM 2.1B (内部LLM未注明，冻结)

视觉编码器

Eagle 2.5内置

动作头

flow matching DiT (4步) + FLARE (flow matching)

动作块

未公开

控制频率

未公开

架构原文摘要

冻结的Eagle 2.5 VLM（2.1B，grounding调优）+ 加入层归一化的适配器MLP + DiT动作头（flow matching，去噪 4步）

训练

预训练加速器

H100 1K张

预训练时长

未公开

预训练步数·批量

250K步 · 批量16,384

GPU·TPU-小时

未公开

微调

建议H100或L40 1节点,批量最大·20k步;LoRA用A6000或RTX 4090 2张;G1遥操作1K回合后训练(GPU·时间未公开)

数据类型

真实机器人遥操作 / 仿真·合成

数据规模

时长未公开；G1后训练遥操作1K个episode

主要数据集

内部GR-1数据、OpenXE、仿真GR-1（DexMG）、DreamGen神经轨迹、AgiBot-Beta

任务·评估

Language Table 93.2%;Sim GR-1 Language 54.4%;RoboCasa(30条演示) 47.5;真实GR-1语言指令93.3%(N1 46.6%);Unitree G1已知物体98.8%·新物体84.2%(N1 44.0%);DreamGen新动词12个38.3%

机器人

Fourier GR-1(真机)，Unitree G1(真机)，仿真跨本体

推理

推理设备·速度

H100: VLM 23.18 ms + 动作头 4 × 6.18 = 24.7 ms,总计47.88 ms;Jetson Thor TensorRT FP16/FP8+FP4: DiT 5.46/3.41 ms, ViT 5.21/4.10 ms, LLM 8.53/5.81 ms

推理显存

未公开

权重 bf16（计算）

6 GB

运行位置

未公开

强化学习与底盘

强化学习

部分 (结合RL底层控制器) · VLA为模仿学习。Unitree G1执行使用Decoupled WBC(下身RL·上身IK)

底盘控制

固定 · 未提及行走指令（GR-1·G1抓取·放置等上身操作）

备注

核心特点

预训练·后训练均冻结VLM，在flow matching上加FLARE(未来潜在表征对齐)损失(系数0.2)，也能从人类第一视角视频中学习。借助DreamGen神经轨迹泛化到遥操作之外的新动作。

备注

发布月份在核查中修正为2025-05（NVIDIA新闻稿 2025-05-18，Computex）；研究页面为2025-06-11。HF模型卡描述为SigLip2·T5·flow matching transformer，与研究页面（Eagle 2.5）表述不同。新闻稿中的'36小时'开发是数据生成·开发耗时而非训练compute，同一新闻稿明示AeiRobot为早期采用者。Nvidia License（非商业）。

核验

已反映修正