VLA 图库 / 模型列表 / 移动操作

QUART-Online

Westlake University(MiLAB)·Zhejiang University·Beijing University of Posts and Telecommunications · 2024-12

VLA移动操作8B离散token

通过将连续动作块压缩为残差VQ码的ACD微调MLLM，使其一次推理输出多步指令，在不缩减参数的情况下消除延迟的四足VLA。

论文

QUART-Online: Latency-Free Large Multimodal Language Model for Quadruped Robot LearningarXiv 2412.15576

概述

分类

移动操作

类型

VLA

发布

2024-12

机构

Westlake University(MiLAB)·Zhejiang University·Beijing University of Posts and Telecommunications

权重公开

是

参数

8B(论文Table I)/9B(HF元数据)

架构

主干LLM

Persimmon解码器 · Fuyu-8B配置 (README)

视觉编码器

Fuyu-8B patch分词(无单独视觉编码器，README)

动作头

ACD残差VQ动作token → 解码为10步指令块 (离散token)

动作块

10步 (也实验了-1·-5变体)

控制频率

有效50 Hz

架构原文摘要

Fuyu-8B MLLM(图像+语言) → ACD压缩动作token(残差VQ，码本512·量化器2，1D conv编码器) → 解码为10步连续指令块(终止·vx·vy·偏航·机身高度·频率·步态3·抬脚高度·俯仰·足间距)，有效50 Hz → Walk These Ways底层控制器

训练

预训练加速器

GPU 4张(README训练脚本；型号未注明)

预训练时长

未公开

预训练步数·批量

100K步 · 批量256 · 10个epoch(论文)/批量128 = 32×GPU 4张(README)

GPU·TPU-小时

未公开

微调

不适用；ACD RVQ tokenizer单独训练(lr 3e-4；README：批量1024·50 epoch)，资源·时间未公开

数据类型

仿真·合成

数据规模

使用QUARD(论文未注明规模);将50 Hz数据下采样到5 Hz(README)

主要数据集

QUARD

任务·评估

QUARD仿真(每任务50次)平均成功率未知视觉0.68·未知语言0.79 vs QUART 0.37·0.52;按摘要成功率提升65%;真机实验仅有图示,未报告数值

机器人

IsaacGym四足仿真(QUARD);真机型号未注明

推理

推理设备·速度

控制频率 = 动作块长度 × MLLM推理频率(Eq. 10)，QUART-Online-10 50 Hz(Table II)；README：A100 fp16每个动作约20 ms，VRAM fp16 >19GB·fp32 >37GB

推理显存

>19GB (fp16) / >37GB (fp32), README

权重 bf16（计算）

16 GB

运行位置

GPU服务器 (README为A100)

强化学习与底盘

强化学习

部分 (结合RL底层控制器) · MLLM·ACD仅监督学习;由下层Walk These Ways控制器(原论文为PPO,本论文未明确RL)执行指令

强化学习依据

https://arxiv.org/abs/2212.03238

底盘控制

四足 (指令/潜变量 → RL行走控制器) · VLA输出10步高层指令动作块(RVQ token) → Walk These Ways控制器以底层控制周期(50 Hz)控制关节

备注

核心特点

通过将连续动作块压缩为残差VQ码的ACD微调MLLM，使其一次推理输出多步指令，在不缩减参数的情况下消除延迟的四足VLA。将原本2 Hz的QUART对齐到下层50 Hz控制周期，同时任务成功率提高65%。

备注

显示参数缩减(5.3B·2.7B)时成功率骤降(0.74→0.22·0.11)，并提出ACD作为替代；无实机细节；批量(256 vs 128)·参数(8B vs 9B)因出处而异；代码(MIT)·权重·QUARD数据在HF公开；ICRA 2025(项目页面)。基于：QUAR-VLA: Vision-Language-Action Model for Quadruped Robots (arXiv 2312.14457) — 将2 Hz的QUART低延迟化的后续模型(论文明确说明)，使用QUARD数据

核验

已确认