X-Mobility

NVIDIA·UT Austin·UC Berkeley · 2024-10

VA导航未公开回归

先用自回归潜在world model学习环境动力学，再在其潜在状态上分离学习动作策略，仅凭仿真数据实现泛化的端到端导航模型。

论文

分类: 导航
类型: VA
发布: 2024-10
机构: NVIDIA·UT Austin·UC Berkeley
权重公开: 是
参数: 未公开 (总数未注明；组件：图像编码器 22.1M·状态估计 5.5M·预测 2.3M·融合 28.5M·动作/路径解码器各 10.5M·语义解码器 34.2M·RGB diffuser 962M)

主干LLM: 无
视觉编码器: DINOv2 (22.1M，微调)
动作头: MLP动作解码器: 6维速度 + 路径5个位姿 (回归)
动作块: 无 (单步速度；路径5个位姿辅助)
控制频率: 未公开 (Jetson P50 38.6 ms)
架构原文摘要: DINOv2图像编码器(22.1M) + 速度编码器 → 基于GRU的潜在状态估计·预测(自回归world model) → 与路径(route)嵌入做self-attention融合 → MLP：6维速度指令(线·角速度) + 路径5个位姿；训练时用语义·RGB(LDM)解码器监督world model

预训练加速器: H100 8张
预训练时长: 未公开
预训练步数·批量: world model 100个epoch(随机动作数据) → 策略联合训练100个epoch · 批量32
GPU·TPU-小时: 未公开
微调: 不适用 (无实机微调)
数据类型: 仿真·合成
数据规模: Isaac Sim仓库4种,5 Hz记录:Nav2教师100K帧 + 随机动作160K帧
主要数据集: x_mobility_isaac_sim_nav2_100k; x_mobility_isaac_sim_random_160k (HF nvidia/X-Mobility数据集)
任务·评估: Isaac Sim仓库成功率96% (BC 92%,Nav2 58%,MILE 34%);随机障碍物68% (BC 56%,Nav2 34%,MILE 26%);真实Nova Carter单障碍物10/10·多障碍物8/9 (正常·昏暗光照)
机器人: NVIDIA Nova Carter轮式(真实·仿真),Forklift轮式(Ackermann驱动,仿真);Unitree Go2四足·G1人形机器人(仿真,结合RL行走策略)

推理设备·速度: Jetson AGX Orin: 仅策略P50 38.6 ms·P95 41.96 ms·GPU 594 MB;策略+语义P50 55.55 ms·804 MB;支持ONNX·TensorRT转换(README)
推理显存: 594 MB (仅策略) / 804 MB (策略+语义)
权重 bf16（计算）: 未公开
运行位置: 机载Jetson AGX Orin

强化学习: 部分 (结合RL底层控制器) · 仅在仿真Go2·G1演示中由Isaac Lab RL行走策略将速度指令转换为关节控制；X-Mobility本身为模仿Nav2教师的模仿学习
强化学习依据: https://arxiv.org/html/2410.17491
底盘控制: 轮式·四足·人形双足 (直接输出底盘速度/位姿) · 策略直接输出线速度·角速度指令(Nova Carter实机·仿真)；Go2·G1在仿真中由Isaac Lab RL行走策略将速度指令转换为关节控制

核心特点: 先用自回归潜在world model学习环境动力学，再在其潜在状态上分离学习动作策略，仅凭仿真数据实现泛化的端到端导航模型。在Isaac Sim仓库中成功率96%(Nav2 58%)，无需微调即零样本部署到真实Nova Carter。
备注: 2阶段训练(用随机动作预训练world model → 用Nav2教师数据追加策略)。总参数·训练时间未公开。HF检查点1.44GB(x_mobility-nav2-semantic_action_path.ckpt)，Apache 2.0代码。后续COMPASS的基础策略。
核验: 已反映修正