VLA 图库 / 模型列表 / 自回归与潜在动作VLA

Magma

Microsoft Research·University of Maryland·UW–Madison·KAIST·University of Washington · 2025-02

VLA自回归与潜在动作VLA8.6B离散token

同时处理UI导航与机器人操作的多模态智能体基础模型。

论文

Magma: A Foundation Model for Multimodal AI AgentsarXiv 2502.13130

概述

分类

自回归与潜在动作VLA

类型

VLA

发布

2025-02

机构

Microsoft Research·University of Maryland·UW–Madison·KAIST·University of Washington

权重公开

是

参数

8.6B(论文)/9B(HF模型卡)

架构

主干LLM

LLaMA-3-8B

视觉编码器

ConvNeXt-XXlarge (CLIP)

动作头

256个离散token (OpenVLA方式) (离散token)

动作块

未公开

控制频率

未公开

架构原文摘要

LLaMA-3-8B + ConvNeXt-XXlarge(CLIP-ConvNeXt);用词表最后256个离散token表示机器人动作(OpenVLA方式)

训练

预训练加速器

NVIDIA H100·AMD MI300(模型卡),数量未公开

预训练时长

未公开

预训练步数·批量

最多3 epochs，batch 1024，lr 1e-5，最大序列4096

GPU·TPU-小时

未公开

微调

未公开（训练代码2025-03-09公开）

数据类型

真实机器人遥操作 + 人类视频 + 网络视觉-语言

数据规模

约39M样本：机器人OXE 970K条轨迹(9.4M图像-语言-动作)，UI 2.7M，视频25M+(约4M片段)，图像-文本1.2M + Magma-SFT 820K

主要数据集

OXE, SeeClick, Vision2UI, Ego4D, Something-Something v2, Epic-Kitchens, ShareGPT4V, LLaVA-1.5

任务·评估

SimplerEnv 8项任务(172个场景)；真实WidowX 4项任务(每项任务约50条轨迹)；LIBERO(每项任务10条轨迹微调，每套件100次)；UI：Mind2Web·AITW

机器人

WidowX，SimplerEnv·LIBERO仿真，UI智能体

推理

推理设备·速度

Magma-8B bf16每次调用1.1 s·17 GB,4-bit 1.1 s·7 GB(README,GPU未注明)

推理显存

bf16 17 GB · 4-bit 7 GB (README)

权重 bf16（计算）

17.2 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 多模态预训练（监督学习）

底盘控制

固定 · 无底盘控制（仅机械臂；UI智能体不是机器人）

备注

核心特点

同时处理UI导航与机器人操作的多模态智能体基础模型。用Set-of-Mark对动作进行grounding，用Trace-of-Mark从视频中学习规划。

备注

训练硬件仅见于模型卡片，论文中没有。权重公开于2025-02-25。也包括UI智能体任务。参数(B)为论文值8.6B。

核验

已确认