VLA 图库 / 模型列表 / 产业界模型

Gemini Robotics-ER

Google DeepMind · 2025-03

기타产业界模型未公开其他

不输出动作，而是输出pointing、3D bbox、grasp预测等空间理解结果的VLM。

论文

Gemini Robotics: Bringing AI into the Physical WorldarXiv 2503.20020

概述

分类

产业界模型

类型

기타

发布

2025-03

机构

Google DeepMind

权重公开

否

参数

未公开

架构

主干LLM

Gemini 2.0 Flash

视觉编码器

—

动作头

以点·bbox·轨迹·代码输出代替动作 (其他)

动作块

未公开

控制频率

未公开

架构原文摘要

基于Gemini 2.0 Flash的embodied-reasoning VLM；不直接输出动作(输出2D点·3D bbox·grasp·轨迹，通过代码生成控制机器人)

训练

预训练加速器

TPU v4，v5p，v6e(芯片数未公开；与Gemini Robotics共用模型卡)

预训练时长

未公开

预训练步数·批量

未公开

GPU·TPU-小时

未公开

微调

未公开

数据类型

图像·文本·机器人传感器·动作数据(与Gemini Robotics共用的模型卡描述)

数据规模

未公开

主要数据集

未公开

任务·评估

提出ERQA 400题(Table 2中无ER自身得分列)；2D pointing Paco-LVIS 71.3，Pixmo-Point 49.5，Where2Place 45.0；博客：end-to-end控制成功率为Gemini 2.0的2~3倍

机器人

不适用(机器人控制通过代码生成·in-context示例实现)

推理

推理设备·速度

未公开

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

未公开 · 未提及RL

底盘控制

固定 · 不直接输出动作 (生成点·bbox·轨迹·代码)；无底盘控制

备注

核心特点

不输出动作，而是输出pointing、3D bbox、grasp预测等空间理解结果的VLM。新提出了ERQA(400题)基准，Gemini Robotics主干是该模型的蒸馏版。

备注

不直接输出动作的VLM(ER)，故类型为其他。模型卡片Hardware行(TPU v4, v5p, v6e)也适用于ER(修正了笔记中的未公开†)。Training Data行：'Gemini Robotics-ER and Gemini Robotics were trained on datasets comprised of images, text, and robot sensor and action data.'

核验

已反映修正