NavDP

Shanghai AI Laboratory·Tsinghua University·Zhejiang University·The University of Hong Kong · 2025-05

VA导航未公开diffusion

仅用仿真数据，以单个Transformer从RGB-D观测联合学习轨迹生成(diffusion)与轨迹评估(critic)，critic以仿真特权信息(全局ESDF)构造的对比负样本轨迹训练。

论文

分类: 导航
类型: VA
发布: 2025-05
机构: Shanghai AI Laboratory·Tsinghua University·Zhejiang University·The University of Hong Kong
权重公开: 是
参数: 未公开

主干LLM: 无
视觉编码器: DepthAnything ViT (RGB，预训练) + 从头训练ViT (深度)
动作头: 航点diffusion头 (条件U-Net·DDPM) + critic选择 (diffusion)
动作块: 航点24个
控制频率: >10 Hz
架构原文摘要: RGB用预训练DepthAnything ViT、深度用从头训练的ViT编码 → Transformer解码器将RGB-D 512个token压缩为16个融合token → 2层Transformer编码器(策略·critic共享) → 条件U-Net·DDPM diffusion头批量生成24步航点(Δx,Δy,Δω),critic(轨迹用1D conv编码)打分选出最佳轨迹;以轨迹中间点×比例系数计算线速度·角速度,>10 Hz

预训练加速器: 未公开
预训练时长: 未公开
预训练步数·批量: 未公开
GPU·TPU-小时: 未公开
微调: real-to-sim数据(3DGS实验室重建，约4k条轨迹)追加训练：方式·加速器·时间未公开
数据类型: 仿真·合成
数据规模: 轨迹 56,000条以上·RGB-D图像 1,000万张·363.2 km·1,244个场景（正文；arXiv摘要元数据为'100万 m以上·3,000个场景'）；每GPU每天生成约 2,500条轨迹；real-to-sim 约 4k条轨迹
主要数据集: 自有仿真生成数据(3D-Front 1,176个·Matterport3D 68个场景)；3DGS实验室重建(real-to-sim)
任务·评估: 自建IsaacSim基准(Dingo·Go2·R1) PointNav仿真SR 81.3/83.0/75.0%，仿真·real-to-sim 6种设置平均mSR 70.4·mSPL 58.6(ViPlanner 65.6·55.4)；无目标探索·ImageNav；实机零样本，加入in-domain real-to-sim数据后真实环境成功率50%→80%；仿真无目标探索面积Dingo 280.2·Go2 359.1·R1 300.4 (NoMaD 119.2·36.9·57.9，ViNT 38.4·37.7·61.3)
机器人: 真实机器人Unitree Go2四足、Galaxea R1、Unitree G1人形机器人；仿真ClearPath Dingo(两轮差速)·Go2·R1

强化学习: 部分 (结合RL底层控制器) · NavDP本身为模仿学习(diffusion) + 基于仿真特权信息(全局ESDF)的critic监督学习;仿真Go2四足由RL训练的行走策略跟踪轨迹
强化学习依据: https://arxiv.org/html/2505.08712v3
底盘控制: 轮式·四足·人形双足 (航点 → 跟踪控制器) · 策略输出24步航点 → 以轨迹中点×比例系数换算为线速度·角速度作为底盘指令

核心特点: 仅用仿真数据，以单个Transformer从RGB-D观测联合学习轨迹生成(diffusion)与轨迹评估(critic)，critic以仿真特权信息(全局ESDF)构造的对比负样本轨迹训练。无需真实机器人数据即可零样本迁移到四足·轮式·人形机器人，加入Gaussian Splatting real-to-sim数据(约4k条轨迹)后真实环境成功率由50%升至80%。
备注: 训练GPU·时间·步数·批量·参数量均未公开(正文·附录)。数据规模冲突：正文·PDF·HF摘要为363.2 km·1,244个场景，当前arXiv摘要元数据为'100万m以上·3,000个场景'。检查点需通过Google Form申请后提供(README中为InternVLA-N1 System-1模型)，代码CC BY-NC-SA 4.0。RL后训练版X-NavDP(2607.28560)为另一篇论文。
核验: 已反映修正