FutureNav

Tsinghua University·Pengcheng Laboratory·HKUST (Guangzhou)·Xiaomi EV·National University of Singapore · 2026-06

VLA导航4B·8B离散token

将在VLM隐状态上联合学习动作预测、逆·正向动力学和未来空间状态生成的world-action建模引入VLN，推理时只用策略头以保持速度。

论文

分类: 导航
类型: VLA
发布: 2026-06
机构: Tsinghua University·Pengcheng Laboratory·HKUST (Guangzhou)·Xiaomi EV·National University of Singapore
权重公开: 部分
参数: 4B·8B (以Qwen3-VL-4B·8B主干计；HF FutureNav-4B-Base含VGGT·头共5.48B，8B总量未公开)

主干LLM: Qwen3-VL-4B / 8B
视觉编码器: Qwen3-VL视觉编码器(冻结) + VGGT空间编码器(冻结)
动作头: 离散文本动作 (STOP·MOVE_FORWARD·TURN_LEFT·TURN_RIGHT) (离散token)
动作块: 无 (单步)
控制频率: 未公开
架构原文摘要: Qwen3-VL-4B/8B(视觉塔冻结) + 冻结VGGT空间编码器(中间层token,每patch 2048维 → RMSNorm·2层MLP merger,以α=0.2加到视觉token上) → LLM隐状态上接4个头(自回归动作策略、逆动力学分类、正动力学MLP、未来空间特征生成);推理仅用策略头,每步1个离散文本动作(STOP·MOVE_FORWARD·TURN_LEFT·TURN_RIGHT)

预训练加速器: 未公开
预训练时长: 未公开
预训练步数·批量: 未公开
GPU·TPU-小时: 未公开
微调: 不适用 (从Qwen3-VL开始的单一导航训练阶段；加速器·时间未公开)
数据类型: 仿真·合成
数据规模: VLN-CE专家轨迹约2.43M样本(R2R-CE 631K + RxR-CE 1.80M，'0K'设置)；完整设置额外加入ScaleVLN·DAgger rollout外部数据10,457K(4B)/10,435K(8B)
主要数据集: R2R-CE;RxR-CE;ScaleVLN;DAgger rollout
任务·评估: R2R-CE val-unseen SR 65.4%·SPL 61.3·NE 4.24(4B全部数据;8B 64.3%·60.3), RxR-CE SR 60.9%·SPL 52.8·nDTW 68.0(8B SR 63.9%·SPL 54.8);无外部数据的0K设置4B R2R SR 55.1%;真机Go2零样本(未报告定量数值)
机器人: Go2四足(远程操作,D435i RGB相机);仿真VLN-CE智能体

核心特点: 将在VLM隐状态上联合学习动作预测、逆·正向动力学和未来空间状态生成的world-action建模引入VLN，推理时只用策略头以保持速度。以单目RGB·4B主干取得R2R-CE SR 65.4%·RxR-CE SR 60.9%，超过7B级JanusVLN(R2R 60.5%)等已有VLN模型。
备注: 训练硬件·时间·步数·批量·lr均未公开。HF llxs/FutureNav仅公开FutureNav-4B-Base(11.7 GB)，8B·训练脚本·训练数据未公开(README TODO)。实机仅有演示，无定量结果。外部数据列(10457K等)的构成正文未说明。
核验: 已反映修正