MoRE

Zhejiang University·Westlake University(MiLAB)·Monash University·HKUST(GZ) · 2025-03

VLA移动操作9.82B离散token

在Fuyu-8B中以稀疏MoE加入多个LoRA专家，把VLA视为Q函数，用成功·失败混合的自动采集数据做离线RL训练的四足VLA。

论文

分类: 移动操作
类型: VLA
发布: 2025-03
机构: Zhejiang University·Westlake University(MiLAB)·Monash University·HKUST(GZ)
权重公开: 否
参数: 9.82B (Fuyu-8B + MoE-LoRA)

主干LLM: Fuyu-8B + MoE-LoRA专家
视觉编码器: Fuyu-8B patch输入(无单独视觉编码器)
动作头: 自回归离散token(离散Q函数) → 12维指令 (离散token)
动作块: 未公开
控制频率: 未公开
架构原文摘要: Fuyu-8B(32层)各层FFN改为共享FFN+LoRA专家MoE(Top-K路由)，注意力加LoRA → 自回归离散动作token(离散Q函数) → 12维离散指令 → Walk These Ways RL控制器

预训练加速器: A100 8张
预训练时长: 约100小时(专家数据) / 约125小时(混合质量数据)
预训练步数·批量: 3个epoch · 每GPU批量16
GPU·TPU-小时: 800 (换算 · A100 8张 × 100小时 (专家数据训练；125小时混合质量运行未重新说明GPU数))
微调: 追加少量真实机器人数据微调(数据规模·资源·时长未公开)
数据类型: 仿真·合成
数据规模: QUARD专家1,822,405组VLA(6项任务) + QUARD-Auto 440,732组(失败数据,4项任务) + 少量真机数据(未注明规模)
主要数据集: QUARD; QUARD-Auto
任务·评估: QUARD 6项技能仿真平均0.60(QUART 0.44): Distinguish 0.82, Go to 0.80, Go avoid 0.59, Go through 0.57, Crawl 0.49, Unload 0.33;真机仅有定性结果(go to the computer等)
机器人: Unitree Go2四足(12关节) + 前方RealSense D435；仿真IsaacGym

强化学习: 使用 (VLA RL后训练) · 将基于Fuyu-8B的VLA(LoRA专家)作为离散Q函数进行离线RL训练(贝尔曼更新·保守项·成功时为1的稀疏奖励)；底层为Walk These Ways RL策略
强化学习依据: https://arxiv.org/abs/2503.08007
底盘控制: 四足 (指令/潜变量 → RL行走控制器) · VLA输出12维离散指令token → Walk These Ways RL策略控制关节

核心特点: 在Fuyu-8B中以稀疏MoE加入多个LoRA专家，把VLA视为Q函数，用成功·失败混合的自动采集数据做离线RL训练的四足VLA。6项技能仿真平均成功率0.60，领先QUART(0.44)等基线，加入失败数据经RL提升了性能。
备注: 专家数·LoRA rank·Top-K值未注明；'冻结主干·仅训练LoRA'的描述与FFN→MoE转换的描述并存；稀疏奖励(成功时为1)+保守正则化(α=0.5)；推理速度未注明；无代码·权重公开链接。基于：GeRM: A Generalist Robotic Model with Mixture-of-experts for Quadruped Robot (arXiv 2403.13358) — 直接沿用GeRM的Q函数学习损失与QUARD-Auto数据(同一团队的四足MoE模型)
核验: 已确认