VLA 图库 / 模型列表 / 参考基线(2024年以前)

GR-1

ByteDance Research · 2023-12

VLA参考基线(2024年以前)195M回归

以大规模人类视频的未来帧预测进行预训练，再用机器人数据联合学习动作和未来图像。

论文

Unleashing Large-Scale Video Generative Pre-training for Visual Robot ManipulationarXiv 2312.13139

概述

分类

参考基线(2024年以前)

类型

VLA

发布

2023-12

机构

ByteDance Research

权重公开

部分

参数

195M(可训练46M)

架构

主干LLM

无 (CLIP文本编码器)

视觉编码器

MAE ViT + perceiver resampler

动作头

MLP动作头 + 未来帧预测 (回归)

动作块

未公开

控制频率

未公开

架构原文摘要

MAE预训练ViT + perceiver resampler,CLIP文本编码器;GPT型因果Transformer(12层·12头·hidden 384);3层MLP动作头 + 未来图像预测,输入长度10,未来帧间隔3

训练

预训练加速器

未公开

预训练时长

未公开

预训练步数·批量

50个epoch，批量1024(warmup 5个epoch，lr 3.6e-4，AdamW，cosine)

GPU·TPU-小时

未公开

微调

GPU·时间未公开；CALVIN 20个epoch，批量512，lr 1e-3，warmup 1个epoch

数据类型

人类视频；仿真·合成；真实机器人演示(采集方式未注明)

数据规模

预训练Ego4D 800K片段·8M帧；CALVIN 20k+条专家轨迹(语言标注1%)；实机搬运1,775条演示，抽屉2,856条轨迹

主要数据集

Ego4D；CALVIN；自有Kinova数据

任务·评估

CALVIN ABCD→D成功率94.9%(此前88.9%)，平均长度4.21(此前3.06)；ABC→D 85.4%(此前53.3%)；10%数据首个任务0.778；真机搬运seen 0.79·unseen实例0.73·unseen类别0.30，抽屉0.75

机器人

7-DoF Kinova Gen2单臂；CALVIN仿真

推理

推理设备·速度

未公开

推理显存

未公开

权重 bf16（计算）

0.4 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 视频预测预训练 + 模仿学习

底盘控制

固定 · 无底盘控制（Kinova单臂·CALVIN仿真）

备注

核心特点

以大规模人类视频的未来帧预测进行预训练，再用机器人数据联合学习动作和未来图像。以无LLM·VLM主干的语言条件GPT式策略提升了CALVIN性能。

备注

产业界笔记的分类为VLA(以语言输入为准)，与把同条件的RT-1归为VA的笔记标准不同。Ego4D全集超过3,500小时，GR-1使用了其中800K片段。公开CALVIN ABCD-D·ABC-D微调检查点(Apache-2.0)。

核验

已确认