QUAR-VLA (QUART)

Westlake University·Zhejiang University · 2023-12

VLA移动操作8B离散token

提出了由单张RGB和语言指令以离散token输出四足高层指令（速度·步态·姿态）的四足VLA任务定义、QUART模型及仿真·实机QUARD数据集。

论文

主干LLM: Fuyu-8B (仅解码器VLM；未单独注明LLM)
视觉编码器: Fuyu-8B直接输入图像patch(无单独视觉编码器)
动作头: 256区间离散token (11维指令+终止) (离散token)
动作块: 无 (单步)
控制频率: 2 Hz
架构原文摘要: Fuyu-8B VLM(单张RGB+语言) → 256区间离散token：11维高层指令(vx·vy·ωz，步态相位3，频率，机身高度，俯仰，足间距，抬脚高度)+终止，无动作块，2 Hz → Walk These Ways指令跟踪控制器生成关节

预训练加速器: 未公开
预训练时长: 未公开
预训练步数·批量: 100K步 · 批量256 (lr 2e-5)
GPU·TPU-小时: 未公开
微调: 不适用 (QUARD仿真·真实数据联合训练单一阶段)
数据类型: 仿真·合成 / 真实机器人遥操作
数据规模: QUARD合计259K回合(表合计·Fig. 2标注;表中各行相加为仿真246K+真实3K=249K),真机3K(Go to Object,远程操控);v1为仿真348K
主要数据集: QUARD
任务·评估: QUARD仿真成功率: Distinguish 0.66, Go to 0.60, Go avoid 0.53, Go through 0.41, Crawl 0.32, Unload 0.12,未知物体0.35·未知语言0.33;真机Go to 13/20(仿真256K+真实3K) vs 3/20(仅真实3K);共评估4,000次
机器人: WR-2四足(12关节，论文标注) + 前方RealSense D435；仿真IsaacGym

强化学习: 部分 (结合RL底层控制器) · QUART仅做监督微调(100K步);下层指令跟随为Walk These Ways策略(原论文为PPO,本论文未明确RL)
强化学习依据: https://arxiv.org/abs/2212.03238
底盘控制: 四足 (指令/潜变量 → RL行走控制器) · VLA输出11维高层指令token → Walk These Ways指令跟踪控制器控制关节

核心特点: 提出了由单张RGB和语言指令以离散token输出四足高层指令（速度·步态·姿态）的四足VLA任务定义、QUART模型及仿真·实机QUARD数据集。通过4,000次评估表明，大规模仿真数据与少量真实数据联合训练使实机Go to成功从3/20提高到13/20。
备注: 仿真数据由A*/D*路径+PD速度转换脚本生成，真实数据为远程操控；下层控制器[23]=Walk These Ways(本文未明示RL，原论文为PPO)；训练GPU·时长未注明；也比较了LLaVA-7B变体(性能相近)；v1→v6模型构成·数据数值有变化；权重未公开(QUARD在QUART-Online页面于HF公开)。
核验: 已确认