VLA 图库 / 模型列表 / VA

BAKU

New York University · 2024-06

VAVA约10M回归

在1块消费级GPU上以每基准6–26小时训练约10M参数的多任务策略。

论文

BAKU: An Efficient Transformer for Multi-Task Policy LearningarXiv 2406.07539

概述

分类

VA

类型

VA

发布

2024-06

机构

New York University

权重公开

否

参数

约10M(编码器2.1M + trunk 6.5M + 头1.4M)；Table 3变体4.4M·10M·31M·114M

架构

主干LLM

无

视觉编码器

FiLM ResNet-18

动作头

MLP头 + 动作块平滑 (回归)

动作块

10 (LIBERO) · 3 (DMC)

控制频率

10 Hz

架构原文摘要

FiLM条件ResNet-18视觉编码器 + 本体感知 → Transformer观测主干；MLP动作头 + 动作块(LIBERO·Meta-World 10，DMC 3)·时间平滑，仅使用最新观测，10 Hz

训练

预训练加速器

不适用

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

按基准的多任务模型，RTX A4000 1张：LIBERO-90 600k步·批量 64 约 10.5小时，Meta-World 600k·64 约 8小时，DMC 2M·128 约 26小时，xArm 200k·64 约 6小时

数据类型

仿真·合成；真实机器人遥操作

数据规模

每项任务50(LIBERO-90)·35(Meta-World)·500(DMC)条演示；真实共520条演示(每项任务平均17)

主要数据集

LIBERO-90;Meta-World;DeepMind Control;自有xArm

任务·评估

LIBERO-90(90项任务),Meta-World 30项任务,DeepMind Control 9项行走任务,真实xArm 30项任务

机器人

xArm单臂；仿真

推理

推理设备·速度

真实xArm 10 Hz闭环；延迟未公开

推理显存

未公开

权重 bf16（计算）

0.2 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 仅使用模仿学习（行为克隆）

底盘控制

固定 · 无底盘控制（xArm单臂·仿真）

备注

核心特点

在1块消费级GPU上以每基准6–26小时训练约10M参数的多任务策略。任务通过冻结的MiniLM句子嵌入或目标图像指定。

备注

使用冻结的MiniLM文本任务嵌入，属于语言条件边界案例（无VLM主干）。参数(B)为最大变体 114M。训练时间以按基准的多任务模型为准，而非按任务。含DMC行走任务。

核验

已确认