VLA 图库 / 模型列表 / 自回归与潜在动作VLA

RoboMamba

Peking University·AI²Robotics·BAAI · 2024-06

VLA自回归与潜在动作VLAMamba 2.8B/1.4B + ViT-L回归

用Mamba状态空间模型代替Transformer作为LLM的VLA。

论文

RoboMamba: Efficient Vision-Language-Action Model for Robotic Reasoning and ManipulationarXiv 2406.04339

概述

分类

自回归与潜在动作VLA

类型

VLA

发布

2024-06

机构

Peking University·AI²Robotics·BAAI

权重公开

未核实

参数

Mamba 2.8B/1.4B + ViT-L;策略头3.7M(占整体0.1%)

架构

主干LLM

Mamba 2.8B (SSM)

视觉编码器

CLIP/SigLIP ViT-L

动作头

MLP位姿回归 (3.7M) (回归)

动作块

未公开

控制频率

未公开

架构原文摘要

Mamba SSM LLM 2.8B/1.4B + CLIP/SigLIP ViT-Large;用MLP位姿回归头(3.7M)输出连续SE(3)末端执行器位姿,不使用动作token

训练

预训练加速器

NVIDIA A100(数量未公开)

预训练时长

未公开

预训练步数·批量

对齐1 epoch(LLaVA-LCS 558K)；联合训练2 epochs(LLaVA混合655K + RoboVQA 300K)

GPU·TPU-小时

未公开

微调

A100(数量未公开)，8 epochs(SAPIEN图像10K)，'a few dozen minutes'

数据类型

网络视觉-语言 + 机器人VQA + 仿真·合成

数据规模

LLaVA-LCS 558K + LLaVA混合655K + RoboVQA 300K;SAPIEN图像10K

主要数据集

LLaVA-LCS 558K, LLaVA混合, RoboVQA, SAPIEN

任务·评估

SAPIEN操作seen 63.3%·unseen 53%; RoboVQA

机器人

SAPIEN仿真，真实机器人(型号未注明)

推理

推理设备·速度

比现有VLA快3倍（绝对Hz未注明）

推理显存

未公开

权重 bf16（计算）

5.6 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 仅使用模仿学习（行为克隆）

底盘控制

固定 · 无底盘控制（机械臂EE位姿回归）

备注

核心特点

用Mamba状态空间模型代替Transformer作为LLM的VLA。操作微调只需数十分钟，报告称推理比现有VLA快3倍。

备注

是用于与非Transformer比较的参考行。参数(B)以最大Mamba LLM（2.8B）为准，不含ViT-L。仓库·权重是否公开无法确认†。

核验

已确认