COMPASS

NVIDIA·UC Berkeley·UT Austin · 2025-02

VA导航未公开RL策略

在基于模仿学习的策略之上训练各具身的残差RL专家，再将其蒸馏为一个具身条件策略，统一轮式·四足·人形机器人导航。

论文

主干LLM: 无
视觉编码器: DINOv2 (X-Mobility编码器)
动作头: 高斯MLP策略 (均值 + 全局方差) → 速度指令 (RL策略)
动作块: 无 (单步)
控制频率: 未公开 (Jetson P50 29.3 ms)
架构原文摘要: 基于固定X-Mobility(DINOv2·潜在world model)的策略 + 按具身形态的残差RL(PPO)专家 → 蒸馏为以one-hot具身形态嵌入为条件的MLP generalist(均值预测 + 全局方差)；输出速度指令(v, ω)，足式机器人由RL行走策略控制关节

预训练加速器: 不适用 (复用X-Mobility预训练检查点)
预训练时长: 不适用
预训练步数·批量: 不适用
GPU·TPU-小时: 未公开
微调: 残差RL：L40 2张·并行环境64个·每个专家1,000回合(Carter 300)；蒸馏：H100 4张；时间未公开
数据类型: 仿真·合成
数据规模: 蒸馏数据：每个embodiment 320条轨迹 × 128步 ≈ 40k帧 (HF卡片：共160,000帧)
主要数据集: Isaac Lab仓库·办公室环境残差RL专家rollout
任务·评估: Isaac Lab 4个环境×640次:Combined成功率X-Mobility→generalist Carter 50.3→85.3%,H1 22.0→84.4%,Spot 11.7→77.9%,G1 10.0→90.6%;专家成功率提升5–40倍·加权移动时间平均改善3倍
机器人: 仿真：Nova Carter轮式，Unitree H1·G1人形机器人，Spot四足；真实机器人(v3)：Carter·Unitree G1 (Jetson Orin，随机障碍20次成功率约80%)

强化学习: 使用 (VLA RL后训练) · 在X-Mobility(模仿学习)策略之上用按具身形态的残差PPO对策略本身进行RL微调，再蒸馏为generalist；足式机器人还结合底层RL行走策略
强化学习依据: https://arxiv.org/html/2502.16372
底盘控制: 轮式·四足·人形双足 (直接输出底盘速度/位姿) · generalist策略输出速度指令(v, ω) → Carter直接驱动，H1·G1·Spot由Isaac Lab RL行走策略控制关节 (仿真)

核心特点: 在基于模仿学习的策略之上训练各具身的残差RL专家，再将其蒸馏为一个具身条件策略，统一轮式·四足·人形机器人导航。在仿真基准上成功率比X-Mobility提高约5倍（例：H1 22.0%→84.4%），在Jetson AGX Orin上以29 ms运行。
备注: 初版仅在图1说明中提及真实世界部署并将Sim2Real列为后续工作，但v3(2025-10)新增Carter·Unitree G1实机部署(Jetson Orin，20次成功率约80%)。HF(nvidia/COMPASS，需申请)公开了Carter用ONNX·JIT策略与GR00T后训练资料，多embodiment generalist检查点未在文件列表中确认。提供用蒸馏数据为GR00T VLA添加导航能力的工作流(官方文档)。参数·训练时间未公开。NVIDIA Open Model License。基于：X-MOBILITY: End-To-End Generalizable Navigation via World Modeling (arXiv 2410.17491) — 将X-Mobility固定为基础策略使用 (论文·HF卡片明确说明)
核验: 已反映修正