VLA 图库 / 模型列表 / 自回归与潜在动作VLA

TinyVLA

Midea Group·East China Normal University·Shanghai University·Syracuse University·Beijing Innovation Center of Humanoid Robotics · 2024-09

VLA自回归与潜在动作VLAS 422M / B 740M / H 1.3Bdiffusion

无机器人数据预训练，在小型VLM上接扩散头，用LoRA（Transformer参数的5.0%）训练。

论文

TinyVLA: Towards Fast, Data-Efficient Vision-Language-Action Models for Robotic ManipulationarXiv 2409.12514

概述

分类

自回归与潜在动作VLA

类型

VLA

发布

2024-09

机构

Midea Group·East China Normal University·Shanghai University·Syracuse University·Beijing Innovation Center of Humanoid Robotics

权重公开

部分

参数

S 422M / B 740M / H 1.3B(可训练参数101M/138M/143M)

架构

主干LLM

Pythia (TinyVLA-S/B/H)

视觉编码器

LLaVA框架视觉编码器

动作头

扩散策略头 (diffusion)

动作块

未公开

控制频率

未公开

架构原文摘要

LLaVA框架的Pythia LLM(TinyVLA-S/B/H) + 扩散策略头,7维连续动作

训练

预训练加速器

不适用(无机器人预训练；VLM预训练硬件未公开)

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

未公开（未注明GPU·时间·批量·LoRA rank）

数据类型

真实机器人遥操作 + 仿真·合成 + 网络视觉-语言(VLM用LLaVA数据)

数据规模

Franka每任务100条轨迹；MetaWorld 50条演示

主要数据集

自有Franka·UR5遥操作，MetaWorld，LLaVA

任务·评估

MetaWorld 50项任务31.6%;真实Franka 5项任务94.0%(相对OpenVLA +25.7%);双臂UR5 44.5%(OpenVLA 0%)

机器人

Franka单臂，UR5双臂，MetaWorld仿真

推理

推理设备·速度

A6000 1张14 ms(TinyVLA-H)，OpenVLA 292 ms

推理显存

未公开

权重 bf16（计算）

2.6 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 仅使用模仿学习（行为克隆）

底盘控制

固定 · 无底盘控制（Franka·UR5机械臂）

备注

核心特点

无机器人数据预训练，在小型VLM上接扩散头，用LoRA（Transformer参数的5.0%）训练。A6000延迟14 ms，约为OpenVLA（292 ms）的1/20。

备注

是扩散头VLA，并非自回归token模型，但属于分配范围故收录。仅基础VLM(约400M/700M/1.3B)在HF公开，未见策略检查点。代码公开于2025-02-17。参数(B)以最大变体TinyVLA-H为准。

核验

已确认