VLA 图库 / 模型列表 / 自回归与潜在动作VLA

LLaRA

Stony Brook University·University of Wisconsin–Madison · 2024-06

VLA自回归与潜在动作VLA7B离散token

将机器人动作转换为LLaVA对话格式文本，并用6种辅助自监督数据训练。

论文

LLaRA: Supercharging Robot Learning Data for Vision-Language PolicyarXiv 2406.20095

概述

分类

自回归与潜在动作VLA

类型

VLA

发布

2024-06

机构

Stony Brook University·University of Wisconsin–Madison

权重公开

是

参数

7B(LLaVA-1.5-7B)

架构

主干LLM

Vicuna 7B · LLaVA-1.5配置

视觉编码器

CLIP ViT-L (冻结)

动作头

输出文本坐标·旋转 (离散token)

动作块

未公开

控制频率

未公开

架构原文摘要

LLaVA-1.5-7B(视觉编码器冻结);以文本输出动作(归一化2D图像坐标 + 旋转角度)

训练

预训练加速器

不适用(无机器人预训练)

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

论文：batch 32（VIMA-0.8k/8k）/128（VIMA-80k），lr 最大 2e-5，GPU·时间未公开；README：全量FT需24GB以上Ampere GPU 4张 + RAM 300GB（在A5000 4张上验证），LoRA需24GB GPU 1张

数据类型

仿真·合成 + 真实机器人(xArm)

数据规模

VIMA专家轨迹0.8k/8k/80k；辅助·xArm样本数未公开

主要数据集

VIMA-Bench, xArm-Det, xArm-Action

任务·评估

VIMA-Bench L1–L3(20 seeds)；真实xArm(每设置20回合)

机器人

VIMA-Bench仿真，xArm

推理

推理设备·速度

单张24GB GPU(README)；速度未公开

推理显存

单张24 GB GPU运行 (README)

权重 bf16（计算）

14 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 指令微调(监督学习)

底盘控制

固定 · 无底盘控制（xArm机械臂·仿真）

备注

核心特点

将机器人动作转换为LLaVA对话格式文本，并用6种辅助自监督数据训练。无机器人预训练，直接微调VLM。

备注

硬件是README的要求，而非来自论文。

核验

已确认