VLA 图库 / 模型列表 / VA

VQ-BeT

New York University; Seoul National University · 2024-03

VAVA未公开离散token

将连续动作转换为分层残差VQ码，无需迭代去噪即可一次预测。

论文

Behavior Generation with Latent ActionsarXiv 2403.03181

概述

分类

VA

类型

VA

发布

2024-03

机构

New York University; Seoul National University

权重公开

部分

参数

未公开

架构

主干LLM

无

视觉编码器

ResNet18 (冻结)

动作头

残差VQ动作码 + 偏移 (离散token)

动作块

未公开

控制频率

未公开

架构原文摘要

minGPT(6层·6头·120维；BlockPush为4·4·72) + 2层残差VQ动作码(VQ-VAE潜变量512，BlockPush 256；码本8–16) + 偏移，单次解码；图像任务用冻结ResNet18嵌入

训练

预训练加速器

不适用

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

按任务：GPU·时间·批量未公开；epoch Kitchen 1000、Ant 300、BlockPush 1500、UR3 300、PushT 2000、NuScenes 1000、真实 600；两阶段训练（残差VQ tokenizer → Transformer）

数据类型

仿真·合成；真实机器人演示(采集方式笔记未注明)；其他(nuScenes驾驶)

数据规模

PushT 206, Kitchen 566, BlockPush 1,000条轨迹, nuScenes 684个场景;真实每任务45条演示(80%用于训练)

主要数据集

Push-T; Franka Kitchen; BlockPush; UR3 BlockPush; Multimodal Ant; nuScenes

任务·评估

PushT, Image PushT, Kitchen, Image Kitchen, UR3 BlockPush, BlockPush, Multimodal Ant, nuScenes;真实Stretch单阶段5·多阶段3·长程4项任务

机器人

Hello Robot Stretch(真实);仿真;nuScenes驾驶

推理

推理设备·速度

真实机器人：VQ-BeT 18.06 ms(RTX A4000)·207.25 ms(4核CPU) vs DP-T 573.49·5,243.82 ms

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

本地PC

强化学习与底盘

强化学习

未使用 · 仅使用模仿学习（行为克隆）

底盘控制

固定 · 未提及底盘控制（Stretch操作实验；nuScenes为离线轨迹预测）

备注

核心特点

将连续动作转换为分层残差VQ码，无需迭代去噪即可一次预测。报告称真实机器人推理比扩散策略快25倍(仿真5倍)。

备注

真实实验为Stretch移动操作机器人。可选目标条件，无语言。已反映Table 13 BlockPush列结构值的修正。README仅提供目标条件Kitchen权重。ICML 2024。

核验

已反映修正