VLA 图库 / 模型列表 / 自回归与潜在动作VLA

villa-X

Microsoft Research·Tsinghua University·Wuhan University·HKUST·Nanjing University · 2025-07

VLA自回归与潜在动作VLALAM 955Mflow matching

以潜在动作作为中间规划，与机器人动作专家一同训练。

论文

villa-X: Enhancing Latent Action Modeling in Vision-Language-Action ModelsarXiv 2507.23682

概述

分类

自回归与潜在动作VLA

类型

VLA

发布

2025-07

机构

Microsoft Research·Tsinghua University·Wuhan University·HKUST·Nanjing University

权重公开

部分

参数

LAM 955M(README);actor未公开

架构

主干LLM

未公开

视觉编码器

未公开

动作头

潜在动作专家 + flow matching机器人动作专家 (flow matching)

动作块

未公开

控制频率

未公开

架构原文摘要

潜在动作模型(LAM) + actor(潜在动作专家·机器人动作专家)；机器人动作由flow matching生成

训练

预训练加速器

LAM: A100 128张;actor: A100 64张

预训练时长

LAM约4天;actor 4天

预训练步数·批量

未公开

GPU·TPU-小时

6,144 (换算 · A100-小时 (actor 64 × 96 h；LAM 128 × 约96 h = 12,288另计))

微调

未公开

数据类型

真实机器人遥操作 + 人类视频

数据规模

机器人 1.6M条轨迹（223.5M帧）+ 人类视频 3.6M片段

主要数据集

Fractal、BridgeData V2、Something-Something V2等(LAM混合比例Fractal 10%·Bridge V2 10%·SSv2 100%)

任务·评估

SIMPLER Google Robot 77.7%·WidowX 62.5%；真实Realman夹爪·XArm手

机器人

Google机器人·WidowX(SIMPLER),Realman臂(夹爪),XArm(手)

推理

推理设备·速度

未公开

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 潜在动作预训练 + 模仿学习

底盘控制

固定 · 无底盘控制（机械臂·手）

备注

核心特点

以潜在动作作为中间规划，与机器人动作专家一同训练。使用1.6M条机器人轨迹和3.6M段人类视频片段进行预训练。

备注

笔记中的'算力未公开'和'仅数据比例'在核查中已修正。GPU-小时仅为actor预训练，加上LAM约为 18,432 A100-小时。权重仅公开了LAM。

核验

已反映修正