VLA 图库 / 模型列表 / 产业界模型

Gemini Robotics

Google DeepMind · 2025-03

VLA产业界模型未公开未公开

拆分为云端主干与机载解码器，从观测到action chunk约250ms，以有效50Hz控制。

论文

Gemini Robotics: Bringing AI into the Physical WorldarXiv 2503.20020

概述

分类

产业界模型

类型

VLA

发布

2025-03

机构

Google DeepMind

权重公开

否

参数

未公开

架构

主干LLM

基于Gemini 2.0 (规模未公开)

视觉编码器

未公开

动作头

机载本地动作解码器 (未公开)

动作块

动作块 (长度未公开)

控制频率

有效50 Hz

架构原文摘要

基于Gemini 2.0的VLA主干(Gemini Robotics-ER蒸馏版，云端) + 机器人机载本地动作解码器；输出为action chunk(动作块长度未公开)

训练

预训练加速器

TPU v4，v5p，v6e(芯片数未公开)

预训练时长

未公开

预训练步数·批量

未公开

GPU·TPU-小时

未公开

微调

加速器·时间未公开(专精：每项任务2,000~5,000 episodes；快速适配：每项任务最多100 demos)

数据类型

真实机器人遥操作 + 网络视觉-语言(文档·代码·图像·音频·视频，ER·VQA)

数据规模

ALOHA 2 fleet 12个月采集'thousands of hours'，'thousands of diverse tasks'；确切时长·回合数未公开

主要数据集

自有ALOHA 2遥操作数据(非公开) + 非动作网络数据

任务·评估

85个任务泛化基准(in-distribution 20%，视觉28%，指令28%，动作24%)；专项长时程任务平均79%(lunch-box 100%)；以100 demos以内，8个任务中7个超过70%；bi-arm Franka in-distribution平均63%

机器人

ALOHA 2(主平台)；适配到bi-arm Franka、Apptronik Apollo人形机器人

推理

推理设备·速度

云端主干问答不到160ms + 机载解码器；观测→action chunk端到端约250ms；有效控制50Hz；机载计算机规格未公开

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

云端 + 机载

强化学习与底盘

强化学习

未公开 · 训练方式细节未公开

底盘控制

固定 · 无底盘·腿部控制（ALOHA 2双臂；Apollo人形机器人仅有操作任务，未提及行走）

备注

核心特点

拆分为云端主干与机载解码器，从观测到action chunk约250ms，以有效50Hz控制。每项任务用2,000~5,000 episodes即可专精于折纸·装便当等长时程精细任务。

备注

模型卡（App. A）Hardware行 'TPU v4, v5p and v6e.'，Software行 'JAX, ML Pathways'；模型卡同时涵盖Gemini Robotics和Gemini Robotics-ER（修正了笔记中的未公开†）。按博客，trusted tester：Agile Robots, Agility Robotics, Boston Dynamics, Enchanted Tools。arXiv v1 2025-03-25。

核验

已反映修正