VLA 图库 / 模型列表 / 自回归与潜在动作VLA

3D-VLA

UMass Amherst·SJTU·SCUT·Wuhan University·MIT·UCLA·MIT-IBM Watson AI Lab · 2024-03

VLA自回归与潜在动作VLA未公开（基于BLIP2-FlanT5-XL）离散token

将3D场景理解和目标状态生成(扩散世界模型)与动作token预测结合。

论文

3D-VLA: A 3D Vision-Language-Action Generative World ModelarXiv 2403.09631

概述

分类

自回归与潜在动作VLA

类型

VLA

发布

2024-03

机构

UMass Amherst·SJTU·SCUT·Wuhan University·MIT·UCLA·MIT-IBM Watson AI Lab

权重公开

部分

参数

未公开（基于BLIP2-FlanT5-XL）

架构

主干LLM

FlanT5-XL · BLIP2配置

视觉编码器

3D特征 (3D-LLM设计)

动作头

离散动作token + 目标图像·点云扩散 (离散token)

动作块

未公开

控制频率

未公开

架构原文摘要

3D-LLM设计，BLIP2-FlanT5-XL；离散动作token(<aloc0-255>·<arct0-255>·<gripper0/1>) + 目标图像·深度·点云扩散模型

训练

预训练加速器

LLM: '6 × 32 V100s'(对齐阶段'6 × 64 V100s');目标LDM: V100 192张/96张;Point-E: V100 32张

预训练时长

LLM未公开;RGB目标LDM 3周,RGB-D LDM 2周

预训练步数·批量

LLM 30 epochs,每节点batch 4(对齐阶段最多20 epochs,batch 2);LDM 360k/100k steps;Point-E 200 epochs

GPU·TPU-小时

未公开

微调

未公开

数据类型

真实机器人遥操作 + 仿真·合成 + 人类视频

数据规模

3D-语言-动作对2M；回合316k

主要数据集

OXE 12个数据集, RLBench, CALVIN, Dobb-E, RH20T, Epic-Kitchens, HOI4D

任务·评估

RLBench(Put Knife 68%, Take Umbrella 52%, Pick Cup 40%);CALVIN(单任务44.7%,连续2项16.3%)

机器人

RLBench·CALVIN仿真

推理

推理设备·速度

未公开

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 监督学习

底盘控制

固定 · 无底盘控制（RLBench·CALVIN机械臂仿真）

备注

核心特点

将3D场景理解和目标状态生成(扩散世界模型)与动作token预测结合。从机器人数据和人-物交互视频构建了2M个3D-语言-动作对。

备注

'6 × 32 V100s'为原文表述，是6节点×32张还是共192张不明确。目标LDM(192 V100·3周)是独立于策略的扩散模型，未计入GPU-小时栏。仅扩散目标模型在HF公开。

核验

已确认