VLA 图库 / 模型列表 / 2026年新增

Qwen-VLA

Qwen Team · 2026-05

VLA2026年新增未公开flow matching

在Qwen VLM上接DiT flow-matching解码器,将操作·导航·轨迹预测统一到同一动作·轨迹空间,并通过按机器人的提示条件化让一套权重覆盖多种embodiment。

论文

Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot EmbodimentsarXiv 2605.30280

概述

分类

2026年新增

类型

VLA

发布

2026-05

机构

Qwen Team

权重公开

否

参数

未公开 (Qwen3.5-4B主干 + 动作专家约 1.15B；无总量语句)

架构

主干LLM

Qwen3.5-4B

视觉编码器

Qwen3.5-4B内置ViT (空间合并)

动作头

DiT flow-matching解码器 (约1.15B，16块) (flow matching)

动作块

16步 (导航航点8个)

控制频率

按数据集（由提示指定）

架构原文摘要

Qwen3.5-4B(原生多模态, ViT + 空间合并) + 单流DiT flow-matching动作解码器约1.15B(16块×70.8M, AdaLN时间条件) → 操作动作块H=16,导航8个航点(Δx,Δy,Δθ;VLN-CE为滑动窗口执行),少量Euler步;以文本提示对机器人标签·手臂配置·控制频率·动作块大小进行条件化

训练

预训练加速器

未公开

预训练时长

未公开

预训练步数·批量

T2A 2,000步(最终流水线默认值)；之后阶段的步数·批量未公开 (T2A消融中2,000步达峰值·至10,000步停滞)

GPU·TPU-小时

未公开

微调

SFT·ALOHA微调的加速器·时间未公开；RL(PPO+GAE，RLinf，SimplerEnv)：每iteration rollout epoch 8×环境128步(8,192个动作块)，actor lr 5e-6·value lr 1e-4

数据类型

真实机器人遥操作 / 人类视频 / 仿真·合成 / 网络视觉-语言

数据规模

公开操作数据10,000小时以上 + 自有真实机器人轨迹1,000小时以上；合成仿真轨迹8M以上；T2A语言-动作合成约7.2M条轨迹·14,000小时以上；第一视角人类视频(EgoDex 829小时，EgoVerse 1,300小时以上等)；混合比例操作74.2%·人类6.0%·导航7.5%(指令4.3·物体搜索2.3·追踪1.0)

主要数据集

RoboMIND; DROID; BridgeData V2; RT-1; BC-Z; AgiBot World; Ego4D·EPIC-KITCHENS(VITRA); EgoDex; EgoVerse; 导航数据(出处未注明)

任务·评估

LIBERO 97.9%;RoboCasa-GR1 56.7%;Simpler-WidowX 73.7%;RoboTwin 2.0 Easy 86.1%·Hard 87.2%;R2R-CE val-unseen OS 69.0·SR 57.5·SPL 51.2;RxR-CE SR 59.6·SPL 47.8;SimplerEnv-OOD 32.0%;DOMINO零样本SR 26.6%;真实ALOHA平均83.6%(OOD 76.9%)

机器人

真实机器人ALOHA双臂(固定)；预训练WidowX·Google Robot·Franka·ARX5·Fourier GR-1·Mobile ALOHA·AgiBot A2-D·Galaxea R1·AIRBOT MMK2·TienKung(仅手臂动作)；导航为VLN-CE仿真3-DoF平面移动智能体

推理

推理设备·速度

未公开 (仅称以少量Euler步实现低延迟实时控制)

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

使用 (VLA RL后训练) · 从多任务SFT检查点进行PPO+GAE（RLinf），SimplerEnv稀疏二值成功奖励

强化学习依据

https://arxiv.org/html/2605.30280v2

底盘控制

仅仿真 (航点 → 跟踪控制器) · 无真实移动底盘控制：操作为固定机械臂(真实ALOHA等)，导航是在VLN-CE仿真3-DoF平面智能体上以滑动窗口执行8个相对航点

备注

核心特点

在Qwen VLM上接DiT flow-matching解码器,将操作·导航·轨迹预测统一到同一动作·轨迹空间,并通过按机器人的提示条件化让一套权重覆盖多种embodiment。单一通用模型取得LIBERO 97.9%·R2R-CE SR 57.5%·RxR-CE SR 59.6%,在真实ALOHA上平均83.6%(π0.5 71.6%)。

备注

无真实移动底盘控制实验：导航仅有VLN-CE R2R/RxR仿真评估，真实机器人为固定ALOHA，故按要求标为'2026年新增'·底盘'固定'。论文署名'Owen Team'(README为'Qwen Team')。GitHub仅为信息·issue窗口，无检查点链接(截至2026-10)。总参数·训练算力·推理延迟未公开。数据时长只有各来源的数值，合计栏留空。

核验

已反映修正