NavFoM

Peking University·Galbot·USTC·BAAI·University of Adelaide·Zhejiang University·Differential Robotics · 2025-09

VLA导航7B回归

在四足·无人机·轮式·车辆等多种embodiment及VLN·物体搜索·跟踪·自动驾驶任务上以单一模型训练的导航基础模型，引入视角·时间指示token与基于token预算的历史采样。

论文

分类: 导航
类型: VLA
发布: 2025-09
机构: Peking University·Galbot·USTC·BAAI·University of Adelaide·Zhejiang University·Differential Robotics
权重公开: 否
参数: 7B (基于Qwen2-7B；总体数值未注明)

主干LLM: Qwen2-7B
视觉编码器: DINOv2 + SigLIP
动作头: 3层MLP规划头：8个航点 (x, y, z, θ) + 语言头(QA) (回归)
动作块: 航点8个
控制频率: 每条轨迹最多 0.5秒（1,600token预算）
架构原文摘要: DINOv2 + SigLIP双视觉编码器(粗粒度·细粒度token，每帧576个patch) + 2层MLP投影器 + Qwen2-7B；视角·时间指示(TVI)token与基于token预算的时间采样(BATS，预算1,600–2,048)；3层MLP规划头回归8个航点(x, y, z, θ)，QA用语言头；1–8个相机输入

预训练加速器: H100 56张
预训练时长: 约72小时
预训练步数·批量: 1个epoch (批量·学习率未公开)
GPU·TPU-小时: 4,032 (明示 · H100-小时（"a total of 4,032 GPU hours"）)
微调: 不适用 (无按任务微调)
数据类型: 仿真·合成 / 网络视频 / 真实机器人自主行驶日志 / 网络视觉-语言
数据规模: 共12.7M实例：导航8.02M(VLN 3.37M·ObjectNav 1.02M·主动视觉跟踪897K·自动驾驶681K·网络视频导航2.03M) + 图像QA 3.15M + 视频QA 1.61M
主要数据集: VLN-CE R2R·RxR; OpenUAV(429K); HM3D ObjectNav(L3MVN成功回合); EVT-Bench; nuScenes(27K)·OpenScene(654K)车辆驾驶数据; Sekai(YouTube视频约182K，VLM·SLAM伪标签)
任务·评估: R2R-CE SR 61.7%·SPL 55.3%(4视角)/56.2%(单视角);RxR-CE SR 64.4%(4视角)/57.4%(单视角);HM3D-OVON零样本val-unseen SR 45.2%;EVT-Bench单目标SR 88.4%·干扰目标62.0%;NAVSIM PDMS 84.3(8视角);OpenUAV seen SR 29.17%;真实世界110次试验(VLN 50·探索30·跟踪30)
机器人: Unitree Go2四足(SG3S相机)，Unitree G1人形机器人(RealSense D455)，NCS-β飞行机器人(RealSense D435)，Galbot G1轮式(SG3S相机)；各机器人用现成局部规划器跟踪轨迹

推理设备·速度: 在远程服务器RTX 4090(论文)/RTX 5090(项目页)上运行，机器人压缩传输观测；在1,600 token预算下生成8航点轨迹最多0.5秒
推理显存: 约19.1 GB (ICLR camera-ready版)
权重 bf16（计算）: 14 GB
运行位置: 远程服务器 (RTX 4090/5090)

核心特点: 在四足·无人机·轮式·车辆等多种embodiment及VLN·物体搜索·跟踪·自动驾驶任务上以单一模型训练的导航基础模型，引入视角·时间指示token与基于token预算的历史采样。以8.02M导航样本、无需逐任务微调，在R2R-CE(4视角SR 61.7%)·RxR-CE·HM3D-OVON·EVT-Bench·NAVSIM等上达到最佳或具竞争力水平。
备注: 推理GPU在论文(RTX 4090)与项目页面(RTX 5090)中不同；自动驾驶数据为真实车辆驾驶日志(nuScenes·OpenScene)，无实机采集训练数据；无代码·权重公开链接(以项目页面为准)；ICLR 2026。
核验: 已反映修正