VLA 图库 / 模型列表 / Flow·Diffusion VLA

DexGraspVLA

Peking University Institute for AI, PKU-PsiBot Joint Lab, HKUST(GZ) · 2025-02

VLAFlow·Diffusion VLAcontroller可训练163M；planner Qwen2.5-VL-72Bdiffusion

现成VLM planner指定目标物体，接收分割掩码和DINOv2特征的DiT controller执行灵巧手抓取。

论文

DexGraspVLA: A Vision-Language-Action Framework Towards General Dexterous GraspingarXiv 2502.20900

概述

分类

Flow·Diffusion VLA

类型

VLA

发布

2025-02

机构

Peking University Institute for AI, PKU-PsiBot Joint Lab, HKUST(GZ)

权重公开

是

参数

controller可训练163M；planner Qwen2.5-VL-72B(现成模型)

架构

主干LLM

Qwen2.5-72B · Qwen2.5-VL-72B配置 (planner)

视觉编码器

SAM · Cutie · DINOv2 × 2

动作头

DiT扩散controller (16步) (diffusion)

动作块

64步

控制频率

20 Hz

架构原文摘要

分层：VLM planner(Qwen-VL-Chat，附录·README为Qwen2.5-VL-72B-Instruct) + DiT扩散controller(SAM·Cutie分割，含2个frozen DINOv2的3个视觉编码器)；动作块H=64，推理16步，20 Hz

训练

预训练加速器

不适用(无大规模机器人预训练)

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

controller训练：A800×8服务器，不到1天，84个epoch，每GPU批量48

数据类型

真实机器人演示(kinesthetic teaching)

数据规模

成功episode 2,094个，家用物体36个

主要数据集

自行采集

任务·评估

在未见物体360个·光照3种·背景6种的1,287个组合上成功率90.8%

机器人

7-DoF RealMan RM75-6F机械臂 + 6-DoF PsiBot灵巧手

推理

推理设备·速度

每个物体抓取平均约 6 s；planner（72B）在A800×8服务器上以GPU 4张·vLLM·speculative decoding（Qwen2.5-VL-7B）提供服务

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

远程服务器 (planner)

强化学习与底盘

强化学习

未使用 · 仅使用模仿学习（行为克隆）

底盘控制

固定 · 无底盘控制（RealMan机械臂 + 手）

备注

核心特点

现成VLM planner指定目标物体，接收分割掩码和DINOv2特征的DiT controller执行灵巧手抓取。在1,287个未见组合上成功率为90.8%。

备注

参数(B)因系统总计未注明为null。并非单一end-to-end VLA而是分层结构，controller训练归为任务训练。planner服务成本高于controller训练成本。权重为controller检查点(planner为现成VLM)。机构由笔记中的Psi-Robot等按论文第1页修正。

核验

已反映修正