VLA 图库模型列表图库

VLA 图库 / 模型列表 / Flow·Diffusion VLA

Dita

Shanghai AI Lab, Zhejiang University, CUHK MMLab, Peking University, SenseTime Research, Tsinghua University, HKISI/CAS · 2024-10†

VLAFlow·Diffusion VLA334Mdiffusion

将语言·图像·timestep·噪声动作token放入同一causal transformer序列，以in-context条件化进行扩散去噪。

在图库中查看架构图论文 ↗

论文

Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action PolicyarXiv 2503.19757

概述

分类
Flow·Diffusion VLA
类型
VLA
发布
2024-10†
机构
Shanghai AI Lab, Zhejiang University, CUHK MMLab, Peking University, SenseTime Research, Tsinghua University, HKISI/CAS
权重公开
是
参数
334M(可训练221M)；LoRA时训练约11M

架构

主干LLM
无 (CLIP文本编码器)
视觉编码器
DINOv2 + Q-Former
动作头
in-context扩散去噪 (DDIM 10) (diffusion)
动作块
16步
控制频率
3 Hz (真机)
架构原文摘要
无LLM: frozen CLIP文本 + DINOv2 + Q-Former(depth 4) + causal transformer(12块,hidden 768);in-context扩散去噪(DDPM 1000训练,DDIM 20→10步),2帧观测→16步动作块,真机3 Hz

训练

预训练加速器
A100×32(4节点×8)
预训练时长
未公开
预训练步数·批量
100,000步，批量8192(每GPU 256)，AdamW，lr 1e-4(transformer·Q-Former)/1e-5(DINOv2)
GPU·TPU-小时
未公开
微调
LIBERO A100×8·批量512·100K步;CALVIN A100×4·批量128·15 epoch;ManiSkill2 A100×16·批量1024·50K步;Franka 10-shot LoRA 20K步·批量512(GPU未公开);时间均未公开
数据类型
真实机器人遥操作 + 仿真(ManiSkill2自行生成40K+条轨迹，用于微调·评估)
数据规模
OXE(oxe_magic_soup_plus,轨迹数未公开);真机每任务10个样本
主要数据集
Open X-Embodiment, DROID(另有单独预训练版)
任务·评估
SimplerEnv coke can 0.837/0.855, move near 0.760/0.730, drawer 0.463/0.375; LIBERO 84.2/96.3/85.4/63.8, 平均82.4%; CALVIN ABC→D 3.61; ManiSkill2; Franka 10-shot实机(两阶段任务63.8%)
机器人
Franka(单臂)；仿真

推理

推理设备·速度
部署服务器 A100 1张；延迟未公开
推理显存
未公开
权重 bf16（计算）
0.7 GB
运行位置
远程服务器 (A100)

强化学习与底盘

强化学习
未使用 · 仅使用模仿学习（行为克隆）
底盘控制
固定 · 无底盘控制（Franka单臂）

备注

核心特点
将语言·图像·timestep·噪声动作token放入同一causal transformer序列，以in-context条件化进行扩散去噪。以334M在OXE上预训练后，在Franka上每任务用10个样本适应。
备注
发布月份以前一版arXiv 2410.15959为准（提交日期行无法确认†）；本版2503.19757 v1为2025-03-25。所属机构由笔记中的RoboDita团队按论文第1页修正。ManiSkill2按任务数值因提取不一致而排除。
核验
已反映修正

同类其他模型