VLA 图库 / 模型列表 / 自回归与潜在动作VLA

MolmoAct

Allen Institute for AI·University of Washington · 2025-08

VLA自回归与潜在动作VLA7B离散token

是经由深度感知和视觉轨迹输出动作的'动作推理模型'。

论文

MolmoAct: Action Reasoning Models that can Reason in SpacearXiv 2508.07917

概述

分类

自回归与潜在动作VLA

类型

VLA

发布

2025-08

机构

Allen Institute for AI·University of Washington

权重公开

是

参数

7B(两个主干)

架构

主干LLM

Qwen2.5-7B / OLMo2-7B

视觉编码器

SigLIP2 / OpenCLIP

动作头

深度token → 轨迹 → 256-bin token (离散token)

动作块

8步

控制频率

未公开

架构原文摘要

SigLIP2+Qwen2.5-7B(7B-D)或OpenCLIP+OLMo2-7B(7B-O)；深度token(码本128，每图100个) → 视觉轨迹(最多5点) → 256-bin动作token，后训练动作块8

训练

预训练加速器

H100 256张(预训练) + H100 128张(中期训练)

预训练时长

未公开（仅明示GPU-小时）

预训练步数·批量

预训练100k steps·batch 512；中期50k steps·batch 128(论文)/256(README)

GPU·TPU-小时

9,728 (明示(约) · H100-小时（Sec 4.1；Sec 2.2为9,216）)

微调

LoRA r=32,LIBERO命令GPU 64张(8节点×8),global batch 128,40k–80k steps;时间未公开

数据类型

真实机器人遥操作 + 仿真·合成(深度·轨迹辅助标注) + 网络视觉-语言

数据规模

预训练26.3M样本(机器人10.5M、深度1.5M、轨迹1.5M、轨迹条件10.5M、网络2M)；中期MolmoAct Dataset 10,689条轨迹·93个任务

主要数据集

RT-1(Fractal), BridgeData V2, BC-Z, MolmoAct Dataset

任务·评估

SimplerEnv Google Robot视觉匹配零样本70.5%(微调71.6%，变体汇总72.1%)；LIBERO 86.6%；真实Franka单臂+10%·双臂+22.7%(相对π0-FAST)

机器人

Franka单臂·双臂，Google机器人(SimplerEnv)，LIBERO仿真

推理

推理设备·速度

未公开

推理显存

未公开

权重 bf16（计算）

14 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 深度·轨迹推理监督学习

底盘控制

固定 · 无底盘控制（Franka机械臂·仿真）

备注

核心特点

是经由深度感知和视觉轨迹输出动作的'动作推理模型'。权重·数据·训练代码全部公开。

备注

中期训练 2,304 H100-小时未计入GPU-小时栏（合计为12,032）。论文中预训练GPU-小时有9,728（Sec 4.1）和9,216（Sec 2.2）两种。自有数据由5名全职操作员历时2个月采集。

核验

已确认