VLA 图库 / 模型列表 / 2026年新增

LingBot-VLA 2.0

Robbyant (Ant Group) · 2026-07

VLA2026年新增约6.38Bflow matching

在LingBot-VLA基础上改进，用20种机器人配置的轨迹50,000小时和第一人称人类视频10,000小时、共约60,000小时进行预训练，并将头部·腰部·移动底盘·手部自由度统一纳入55维动作空间。

论文

From Foundation to Application: Improving VLA Models in PracticearXiv 2607.06403

概述

分类

2026年新增

类型

VLA

发布

2026-07

机构

Robbyant (Ant Group)

权重公开

是

参数

约6.38B(HF safetensors 6,375,907,511，fp32；检查点名6b；Qwen3-VL-4B主干 + sparse-MoE动作专家，激活参数未注明)

架构

主干LLM

Qwen3-VL-4B-Instruct

视觉编码器

Qwen3-VL内置视觉编码器(训练时不冻结)

动作头

sparse-MoE动作专家(Qwen2式，36层，共享1+路由32个top-4) flow matching 10步 (flow matching)

动作块

50步(真机部署示例执行25)

控制频率

未公开 (单次推理约130 ms，RTX 4090D)

架构原文摘要

Qwen3-VL-4B-Instruct VLM(因果注意力) + 当前·未来查询2个(LingBot-Depth·DINO-Video蒸馏) → sparse-MoE动作专家(Qwen2式，36层全部MoE，共享1+路由32个中top-4) flow matching(推理10步) → 55维统一状态·动作(手臂·EEF·夹爪·手·腰部·头部·底盘)动作块50

训练

预训练加速器

未公开

预训练时长

未公开

预训练步数·批量

未公开

GPU·TPU-小时

未公开

微调

RoboTwin 2.0后训练公开config：32 GPU，批量1,024，50k步，Muon lr 1e-4，L1 flow matching(GPU型号·总时间未注明)；单节点H20后训练迭代5.93 s/it(Muon)·4.31 s/it(Distributed Muon)；真机config批量256·60k步；4×A6000示例每GPU需约49 GB以上(README)

数据类型

真实机器人遥操作 / 人类视频

数据规模

预训练约60,000小时：20种机器人配置50,000小时(从原始约90,000小时中筛选) + 第一人称人类视频10,000小时(从原始约20,000小时中筛选)；DINO-Video以5M个视频片段训练

主要数据集

自采20种机器人数据；第一人称人类视频(公开数据·自有数据，由Ant Digital Technologies Phecda Laboratory·Genrobot.ai提供)；GM-100；RoboTwin 2.0

任务·评估

GM-100 9项任务通用(混合训练)进度/成功：AgileX Cobot Magic 66.2/34.4(π0.5 59.1/32.2，LingBot-VLA 1.0 58.2/30.0)，Galaxea R1 Pro 34.6/15.6(π0.5 27.4/8.9)；长时程移动操作(15次)：Astribot S1整理冰箱ID 77.1/60.0·OOD 37.0/13.3，Cobot Magic-ARX X5清洁燃气灶ID 84.3/66.7·OOD 67.5/40.0(均高于π0.5)；RoboTwin 2.0 clean 93.52%·randomized 92.80%

机器人

评估：AgileX Cobot Magic, Galaxea R1 Pro, Astribot S1, Cobot Magic-ARX X5；预训练20种：Franka, Flexiv Rizon 4, AgileX, ARX Lift2, UR7e, AgiBot G1, Galbot G1, Moz1, Realman Rs-02, Galaxea R1Pro·R1Lite, Astribot S1, Zerith H1, Leju KUAVO 4 Pro, Tienkung, QingLong, MagicBot Gen1, Unitree G1, Fourier GR-2, AgiBot A2

推理

推理设备·速度

RTX 4090D上单次推理约130 ms(10 denoising步，torch.compile，真机部署时执行动作块中的25步)；公开检查点验证为FP32推理，BF16内存更少但成功率可能不同(README)；深度·视频教师不用于推理

推理显存

权重以fp32公开(约6.38B)；验证为FP32推理，BF16节省内存(数值未注明)

权重 bf16（计算）

12.8 GB

运行位置

RTX 4090D推理服务器(README示例)

强化学习与底盘

强化学习

未使用 · flow matching监督学习(预训练·后训练)，深度·视频特征蒸馏为辅助损失

强化学习依据

https://arxiv.org/html/2607.06403

底盘控制

轮式 (直接输出底盘速度/位姿) · 统一动作向量中的移动信号3维(LeRobot转换版标注为base.velocity)与手臂·腰部·头部一起以动作块直接输出；长时程任务用Astribot S1·Cobot Magic-ARX X5移动底盘评估(轮式依据机器人规格，论文仅写'mobile base')

备注

核心特点

在LingBot-VLA基础上改进，用20种机器人配置的轨迹50,000小时和第一人称人类视频10,000小时、共约60,000小时进行预训练，并将头部·腰部·移动底盘·手部自由度统一纳入55维动作空间。在动作专家中加入sparse MoE，并将当前·未来查询蒸馏到LingBot-Depth·DINO-Video，以未来预测作为辅助任务学习。

备注

子任务标注由Qwen3.6-27B自动生成(18个原子动作词表)；人类视频通过SLAM·手部姿态估计恢复MANO手部轨迹；ablation报告相对关节动作优于绝对关节、MeanStd归一化、L2(MSE) flow matching效果更好；预训练采用loss-free MoE负载均衡(DeepSeek-V3式偏置)，后训练config使用序列辅助损失·z-loss；代码·权重(robbyant/lingbot-vla-v2-6b，RoboTwin后训练版lingbot-vla-v2-6b-robotwin) Apache-2.0，有LeRobot转换版(lerobot/lingbot_vla_v2_base)；arXiv v1 2026-07-07。基础：A Pragmatic VLA Foundation Model (arXiv 2601.18692) — 改进自前一版本LingBot-VLA(论文明示)

核验

已确认