VLA 图库 / 模型列表 / 产业界模型

GR-2

ByteDance Research · 2024-10

VLA产业界模型230MCVAE

用网络视频38M clips预训练未来帧生成，再以机器人轨迹联合微调视频·动作。

论文

GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot ManipulationarXiv 2410.06158

概述

分类

产业界模型

类型

VLA

发布

2024-10

机构

ByteDance Research

权重公开

未核实

参数

230M(训练95M)；扩展变体训练参数30M(S)/95M(B)/312M(L)/719M(XL)

架构

主干LLM

无 (无VLM)

视觉编码器

VQGAN图像token

动作头

cVAE生成动作 → WBC轨迹优化 (CVAE)

动作块

未公开

控制频率

200 Hz (执行)

架构原文摘要

GPT式Transformer(无VLM)：冻结文本编码器 + VQGAN图像token；动作由cVAE生成(动作块长度未公开) → 经WBC轨迹优化得到关节指令

训练

预训练加速器

未公开

预训练时长

未公开

预训练步数·批量

未公开

GPU·TPU-小时

未公开

微调

未公开

数据类型

人类视频 + 公开机器人数据 + 真实机器人

数据规模

预训练38M video clips，50B+ tokens；机器人105个任务约40,000 traj(每任务平均400)；bin picking 55个物体约94,000 traj

主要数据集

Howto100M, Ego4D, Something-Something V2, EPIC-KITCHENS, Kinetics-700, RT-1, Bridge

任务·评估

105个桌面任务(8种技能)平均97.7%；每任务仅50条traj时73.9%；bin picking 122个物体79.0%(GR-1 33.3%)；CALVIN 1个任务98.6%，5个任务85.9%

机器人

7-DoF Kinova Gen3 + Robotiq 2F-85

推理

推理设备·速度

WBC轨迹优化后真实机器人200Hz执行；模型推理延迟·硬件未公开

推理显存

未公开

权重 bf16（计算）

0.5 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 视频生成预训练 + 模仿学习

底盘控制

固定 · 无底盘控制（Kinova机械臂）

备注

核心特点

用网络视频38M clips预训练未来帧生成，再以机器人轨迹联合微调视频·动作。将训练参数从30M扩大到719M进行了缩放实验。

备注

参数(B)以基础模型总量230M为准(XL仅公开训练参数719M，总量未公开)。token表述'over 50 billion'与'approximately 50 billion'并存。未找到公开仓库(权重是否公开在核查中无法确认)。arXiv v1 2024-10-08。

核验

已确认