VLA 图库 / 模型列表 / Flow·Diffusion VLA
DexVLA
Midea Group, East China Normal University · 2025-02
VLAFlow·Diffusion VLAVLM 2B + 扩散专家1Bdiffusion
采用先用跨本体数据预训练1B扩散专家的3阶段课程，并约每5秒标注一次sub-step推理。
论文
DexVLA: Vision-Language Model with Plug-In Diffusion Expert for General Robot ControlarXiv 2502.05855
概述
- 分类
- Flow·Diffusion VLA
- 类型
- VLA
- 发布
- 2025-02
- 机构
- Midea Group, East China Normal University
- 权重公开
- 部分
- 参数
- VLM 2B + 扩散专家1B(README：Qwen2-VL ~2B，ScaleDP-H ~1B，ScaleDP-L ~400M)；总数未注明
架构
- 主干LLM
- Qwen2-1.5B · Qwen2-VL-2B配置
- 视觉编码器
- Qwen2-VL ViT
- 动作头
- ScaleDP扩散专家1B (32层) (diffusion)
- 动作块
- 未公开
- 控制频率
- 未公开
- 架构原文摘要
- Qwen2-VL-2B + 1B ScaleDP扩散专家(32层, hidden 1280, 16 heads) + 按embodiment的MLP头;动作块长度未公开
训练
- 预训练加速器
- H100×8(Stage 1)
- 预训练时长
- 未公开
- 预训练步数·批量
- Stage 1 5个epoch，lr 1e-4常数，AdamW(β 0.9/0.95)；批量未公开
- GPU·TPU-小时
- 未公开
- 微调
- Stage 2·3各5个epoch(lr 2e-5)，GPU·时间未公开；README：A6000 1张·批量2下默认38 GB·1.1 s/iter，小型ScaleDP 33 GB，LoRA VLM 24 GB，DeepSpeed offload 20~29 GB·6.56 s/iter
- 数据类型
- 真实机器人遥操作 + sub-step语言标注
- 数据规模
- 100 h，91个任务(AgileX 42.7%、单臂Franka 34.7%等)；新本体每任务100条演示以内
- 主要数据集
- 自行采集数据
- 任务·评估
- 叠衬衫0.92(双臂AgileX)，倒饮料0.90(Franka+灵巧手)，打包0.90(双臂UR5e)，清空烘干机0.8，叠衣服，Table bussing，bin picking，分拣
- 机器人
- Franka+夹爪，Franka+灵巧手，双臂UR5e，双臂AgileX
推理
- 推理设备·速度
- A6000 1张60 Hz
- 推理显存
- 未公开
- 权重 bf16（计算）
- 未公开
- 运行位置
- 本地PC
强化学习与底盘
- 强化学习
- 未使用 · 仅使用模仿学习（行为克隆）
- 底盘控制
- 固定 · 无底盘控制（AgileX 14维关节状态·动作，未使用移动底盘）
备注
- 核心特点
- 采用先用跨本体数据预训练1B扩散专家的3阶段课程，并约每5秒标注一次sub-step推理。以100条以内的演示学会新本体。
- 备注
- 仅公开Stage 1 ScaleDP-H·ScaleDP-L权重。仅训练扩散专家时的速度收益在原文中有'5倍'与'2.78倍'两种说法，不一致。参数(B)因总数未注明而为null。
- 核验
- 已确认