VLA 图库 / 模型列表 / 自回归与潜在动作VLA

WorldVLA

Alibaba DAMO Academy·Hupan Lab·Zhejiang University · 2025-06

VLA自回归与潜在动作VLA未公开（基于Chameleon）离散token

将动作生成与下一图像预测(世界模型)统一到单个自回归模型中。

论文

WorldVLA: Towards Autoregressive Action World ModelarXiv 2506.21539

概述

分类

自回归与潜在动作VLA

类型

VLA

发布

2025-06

机构

Alibaba DAMO Academy·Hupan Lab·Zhejiang University

权重公开

是

参数

未公开（基于Chameleon）

架构

主干LLM

Chameleon 7B

视觉编码器

VQ-GAN图像token

动作头

256-bin token + 图像生成 (离散token)

动作块

10 · 5

控制频率

未公开

架构原文摘要

Chameleon初始化(README参考Lumina-mGPT-7B-768分词器)；VQ-GAN图像token(码本8192) + 7个256-bin动作token，动作块K=10(LIBERO-Long)/5，动作注意力掩码

训练

预训练加速器

未公开

预训练时长

未公开

预训练步数·批量

未公开

GPU·TPU-小时

未公开

微调

未公开

数据类型

仿真·合成

数据规模

LIBERO演示(剔除失败后按90/10划分)

主要数据集

LIBERO

任务·评估

LIBERO平均81.8%(512²,OpenVLA 76.5%)

机器人

LIBERO仿真

推理

推理设备·速度

约3.67 FPS(1帧，动作块)~1.22 FPS(4帧，无动作块)；GPU未注明

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 视频·动作生成监督学习

底盘控制

固定 · 无底盘控制（LIBERO机械臂仿真）

备注

核心特点

将动作生成与下一图像预测(世界模型)统一到单个自回归模型中。生成动作块时使用遮蔽先前动作的注意力掩码。

备注

README中的tokenizer路径暗示为Chameleon-7B,但未注明参数量。仓库于2025-11升级为RynnVLA-002。

核验

已确认