VLA 图库 / 模型列表 / 2026年新增

MolmoAct 2

Allen Institute for AI (Ai2) · 2026-05

VLA2026年新增5Bflow matching

动作推理模型，Think变体使用自适应深度推理token。

论文

MolmoAct2: Action Reasoning Models for Real-world DeploymentarXiv 2605.02881

概述

分类

2026年新增

类型

VLA

发布

2026-05

机构

Allen Institute for AI (Ai2)

权重公开

是

参数

5B (HF标签；正文无总参数说明)

架构

主干LLM

Molmo2-4B内的LLM (未注明) · Molmo2-ER

视觉编码器

—

动作头

DiT式flow专家 (逐层KV) (flow matching)

动作块

未公开

控制频率

未公开

架构原文摘要

Molmo2-ER具身推理VLM(从Molmo2-4B中期训练检查点开始) + 逐层KV条件化DiT型flow matching动作专家(层数与主干相同);OpenFAST tokenizer

训练

预训练加速器

H100 64张 (Molmo2-ER: 2节点 × H100 8张)

预训练时长

未公开 (仅以GPU-小时明示)

预训练步数·批量

200K steps，全局批量128，最大序列4200；Molmo2-ER第1阶段20K + 1.5K steps

GPU·TPU-小时

5,760 (明示 · H100-小时（约 5,760）)

微调

GPU-小时未公开

数据类型

真实机器人遥操作 + 网络视觉-语言(具身推理VQA)

数据规模

后训练集：BimanualYAM演示34.5k条·720小时以上，SO-100/101 38,059个episode·19.8M帧·约184小时，DROID 74,604个episode·17,758,044帧；MolmoER 3.3M样本；预训练总量未公开(机器人90%·多模态10%)

主要数据集

BimanualYAM, SO-100/101, DROID, MolmoER

任务·评估

LIBERO 97.2%(Think 98.1%);MolmoBot 20.6%(π0.5 10.3%);RoboEval 0.443;真实世界零样本Franka 87.1%(π0.5 45.2%);Cortex AI 0.51;Molmo2-ER 13个基准平均63.8

机器人

Franka，双臂YAM，SO-100/101

推理

推理设备·速度

LIBERO单张H100默认180 ms,自适应深度推理790 ms(MolmoAct 6,700 ms);bf16约12 GB

推理显存

bf16约12 GB (H100)

权重 bf16（计算）

10 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 下一token预测 + flow matching 监督学习

强化学习依据

https://arxiv.org/html/2605.02881

底盘控制

固定 · 无底盘控制（仅双臂YAM·Franka·SO100/101操作臂）

备注

核心特点

动作推理模型，Think变体使用自适应深度推理token。公开了权重·代码·数据，报告真实世界零样本Franka达87.1%。

备注

已反映修正：许可Apache 2.0(README)。arXiv v1 2026-05-04，Ai2博客·README 2026-05-05，预训练·后训练代码2026-06-13公开。因预训练总量未公开，数据时长(h)留空。

核验

已反映修正