VLA 图库 / 模型列表 / 自回归与潜在动作VLA

SpatialVLA

Shanghai AI Lab·Fudan University·SJTU·Zhejiang University·ShanghaiTech·Northwestern Polytechnical University · 2025-01

VLA自回归与潜在动作VLA3.5B离散token

通过3D位置编码和自适应网格token，将7维动作压缩为3个token。

论文

SpatialVLA: Exploring Spatial Representations for Visual-Language-Action ModelarXiv 2501.15830

概述

分类

自回归与潜在动作VLA

类型

VLA

发布

2025-01

机构

Shanghai AI Lab·Fudan University·SJTU·Zhejiang University·ShanghaiTech·Northwestern Polytechnical University

权重公开

是

参数

3.5B(论文)/4B(检查点名)

架构

主干LLM

Gemma 2 2B · PaliGemma2 3B配置

视觉编码器

SigLIP + Ego3D深度编码

动作头

自适应网格空间token (每个动作3个) (离散token)

动作块

4步

控制频率

未公开

架构原文摘要

PaliGemma2(paligemma2-3b-pt-224) + Ego3D位置编码(ZoeDepth);以自适应动作网格每个动作3个空间token(词表8194),动作块T=4(12个token)

训练

预训练加速器

A100 64张

预训练时长

10天(论文)/约10天(README)

预训练步数·批量

stage 1 160k + stage 2 40k steps(排除DROID后)，batch 2048，lr 2e-5

GPU·TPU-小时

15,360 (换算 · A100-小时 (64 × 240 h))

微调

LoRA,A100 4张或8张(README);LIBERO为LoRA r=32·200 epochs;时间未公开

数据类型

真实机器人遥操作

数据规模

1.1M回合(28个数据集)；Franka微调每任务50–200条演示

主要数据集

OXE(Bridge 15.34%, Fractal 14.71%, DROID 11.66%, BC-Z 8.64%等), RH20T 5.67%

任务·评估

SimplerEnv Google Robot零样本视觉匹配71.9%(RT-2-X 60.7%)；WidowX零样本34.4%·微调42.7%；LIBERO平均78.1%；真实Franka单任务82%·多任务57%

机器人

WidowX，Google机器人(SimplerEnv)，Franka

推理

推理设备·速度

单张RTX 4090约20 Hz, 8.5 GB

推理显存

8.5 GB (RTX 4090)

权重 bf16（计算）

7 GB

运行位置

本地PC

强化学习与底盘

强化学习

未使用 · 仅使用模仿学习（行为克隆）

底盘控制

固定 · 无底盘控制（仅机械臂：EE动作）

备注

核心特点

通过3D位置编码和自适应网格token，将7维动作压缩为3个token。在RTX 4090上约20 Hz运行。

备注

核验中修正了所属机构(无TeleAI，新增Northwestern Polytechnical University)。参数(B)为论文值3.5B。

核验

已反映修正