VLA 图库 / 模型列表 / Flow·Diffusion VLA

DiVLA (Diffusion-VLA)

Midea Group, East China Normal University, Shanghai University · 2024-12

VLAFlow·Diffusion VLADiVLA-2B / 7B / 72B变体diffusion

将VLM生成的推理语句通过FiLM注入扩散策略头，并用GPT-4o将训练数据转换为含推理的格式。

论文

Diffusion-VLA: Scaling Robot Foundation Models via Unified Diffusion and AutoregressionarXiv 2412.03293

概述

分类

Flow·Diffusion VLA

类型

VLA

发布

2024-12

机构

Midea Group, East China Normal University, Shanghai University

权重公开

未核实

参数

DiVLA-2B / 7B / 72B变体(正文对Qwen2-VL的描述为'2B, 8B, 72B')；头大小未公开

架构

主干LLM

Qwen2 1.5B / 7B / 72B · Qwen2-VL-2B/7B/72B配置

视觉编码器

Qwen2-VL ViT

动作头

Diffusion Policy头 + FiLM推理注入 (diffusion)

动作块

未公开

控制频率

未公开

架构原文摘要

Qwen2-VL主干 + 随机初始化Diffusion Policy头(Chi et al. 2023设计) + FiLM推理注入模块;动作块长度未公开

训练

预训练加速器

未公开

预训练时长

未公开

预训练步数·批量

未公开

GPU·TPU-小时

未公开

微调

GPU·时间未公开；lr 2e-5固定，20个epoch(适用于DiVLA·OpenVLA中的哪个，原文也不明确)

数据类型

真实机器人遥操作 + GPT-4o生成的推理标注

数据规模

预训练DROID(2B·7B)、OXE+DROID(72B)，规模未注明；微调分拣500、多任务580、bussing 400条轨迹

主要数据集

DROID, Open X-Embodiment

任务·评估

Franka工厂分拣总平均66.2%；102个未知物体零样本bin picking 63.7%；AgileX双臂table bussing seen 72.9%

机器人

Franka(单臂)，AgileX(双臂)

推理

推理设备·速度

A6000 1张：DiVLA-2B 82 Hz，7B 42 Hz(不用vLLM时74/30 Hz)；比OpenVLA快6倍

推理显存

未公开

权重 bf16（计算）

144 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 仅使用模仿学习（行为克隆）

底盘控制

固定 · 无底盘控制（Franka·AgileX双臂操作）

备注

核心特点

将VLM生成的推理语句通过FiLM注入扩散策略头，并用GPT-4o将训练数据转换为含推理的格式。在102个未见物体的零样本bin picking中达到63.7%。

备注

参数(B)以最大变体DiVLA-72B名称为准(是否含头部不明)。正文'2B, 8B, 72B'为Qwen2-VL大小说明，与变体名不同(原文不一致)。DexVLA仓库中新增DiVLA训练脚本(2025-03-11)。

核验

已确认