VLA 图库 / 模型列表 / Flow·Diffusion VLA
X-VLA
Tsinghua AIR, Shanghai AI Lab, Peking University · 2025-10
VLAFlow·Diffusion VLA0.9Bflow matching
以逐embodiment soft prompt(占全部参数的0.04%)吸收7个平台的异构性。
论文
X-VLA: Soft-Prompted Transformer as Scalable Cross-Embodiment Vision-Language-Action ModelarXiv 2510.10274
概述
- 分类
- Flow·Diffusion VLA
- 类型
- VLA
- 发布
- 2025-10
- 机构
- Tsinghua AIR, Shanghai AI Lab, Peking University
- 权重公开
- 是
- 参数
- 0.9B(X-VLA-0.9B)
架构
- 主干LLM
- 无 (仅Florence-2编码器)
- 视觉编码器
- Florence-Large编码器
- 动作头
- flow matching Transformer (24块) + soft prompt (flow matching)
- 动作块
- anchor 30个 (4秒)
- 控制频率
- 未公开
- 架构原文摘要
- Florence-Large VL编码器(encoder-only) + 按本体可学习soft prompt + 24块·hidden 1024 flow matching Transformer；EE位姿动作 = 4秒轨迹的30个anchor point；推理denoising 10步(README示例)
训练
- 预训练加速器
- A100×64
- 预训练时长
- 约4天
- 预训练步数·批量
- 200K iter，global批量1024，bf16，lr 1e-4，wd 0.01
- GPU·TPU-小时
- 6,144 (换算(约) · A100-小时 (64张 × 约4天))
- 微调
- 大部分基准批量 128·60K步，Fractal 256·50K，Soft-Fold 256·400K（硬件·时间未公开）；PEFT LoRA 9M取得LIBERO 93%·Simpler-WidowX 54%
- 数据类型
- 真实机器人遥操作
- 数据规模
- 290K回合(DROID·RoboMIND·AgiBot)，7个平台；Soft-Fold 1,200回合·2M样本·采集24小时
- 主要数据集
- DROID, RoboMIND, AgiBot World(48.8%)
- 任务·评估
- Simpler Google Robot VM 80.4·VA 75.7(论文)/83.5·76.4(README), WidowX 95.8; LIBERO 98.2/98.6/97.8/97.6, 平均98.1; CALVIN ABC→D 4.43; RoboTwin-2.0 Easy 70.0·Hard 39.0; NAVSIM PDMS 87.3; Soft-Fold叠布2小时100%成功(README)
- 机器人
- WidowX，AgileX，AIRBOT实机；跨具身形态7个平台·5种机械臂(+NAVSIM驾驶)
推理
- 推理设备·速度
- 论文未公开；LeRobot移植版默认 chunk 32·denoising 10（二手）
- 推理显存
- 未公开
- 权重 bf16（计算）
- 1.8 GB
- 运行位置
- 未公开
强化学习与底盘
- 强化学习
- 未使用 · 仅使用模仿学习（行为克隆）
- 底盘控制
- 固定 · 机器人实验仅为末端位姿（无底盘）；NAVSIM自动驾驶闭环评估另行进行（非机器人底盘）
备注
- 核心特点
- 以逐embodiment soft prompt(占全部参数的0.04%)吸收7个平台的异构性。用LoRA仅调整1%参数(9M)即在LIBERO达到93%，并获得AgiBot World Challenge @ IROS 2025第1名。
- 备注
- Google Robot得分论文80.4/75.7 vs README 83.5/76.4。LIBERO-Long采用与平均98.1相符的97.6。ICLR 2026录用(README)。App. K中有基线重训练算力(A100×4 约60 h·150,000步,π0 LoRA A800×4 约7 h·30,000步)。
- 核验
- 已确认