EgoScale

NVIDIA GEAR + UC Berkeley + University of Maryland · 2026-02

VLA2026年新增未公开flow matching

以20,854小时以上第一人称人类视频预训练VLA，灵巧任务平均成功率提升54%。

论文

主干LLM: 未注明 (GR00T N1设计的VL主干)
视觉编码器: —
动作头: DiT flow专家 + 按本体MLP (flow matching)
动作块: 未公开
控制频率: 未公开
架构原文摘要: GR00T N1设计：VL主干 + DiT动作专家(flow) + 按本体MLP适配器；相对SE(3)腕部 + 22-DoF手关节(重定向人手21个关键点)

预训练加速器: GB200 256块 (Stage I人类数据预训练)
预训练时长: 未公开
预训练步数·批量: Stage I 100K steps，批量8,192，LR 5×10⁻⁵
GPU·TPU-小时: 未公开
微调: Stage II(人-机器人对齐中期训练) 50K steps·批量2,048，Stage III(后训练) 10K steps·批量512；GPU·时间未注明
数据类型: 人类视频(第一人称，动作标签) + 真实机器人遥操作(对齐中期训练)
数据规模: 第一人称人类视频20,854小时以上(含EgoDex 829小时)；中期训练人类约50小时 + 机器人4小时(344个任务)
主要数据集: 自有in-the-wild第一人称录制，EgoDex
任务·评估: 灵巧5项任务(卷衬衫·卡片分类·用夹子搬水果·瓶盖·注射器)；相比无预训练平均成功率+54%；单样本叠衬衫0.88·开水瓶0.55
机器人: Galaxea R1Pro + Sharpa Wave 22-DoF手；Unitree G1 + 7-DoF三指手(下肢HOMIE)

核心特点: 以20,854小时以上第一人称人类视频预训练VLA，灵巧任务平均成功率提升54%。数据从1k→20k小时，平均完成率从0.30→0.71。
备注: 已反映修正：256 GB200仅与Stage I相关的表述，Stage II·III的GPU未注明。场景9,869·任务6,015·物体43,237以in-the-wild录制部分为准。与项目页'22k Hours'标签冲突，采用论文值。为GR00T N1.7的人类数据基础。权重·数据公开无一手依据(无法核实)。数据时长(h)为Stage I人类视频部分。验证损失 L = 0.024 − 0.003·ln(D)，R² 0.9983。
核验: 已反映修正