Qwen-RobotNav

Qwen Team · 2026-06

VLA导航4B·8B回归

将任务模式和观测上下文(token预算·时间衰减·相机权重)参数化并在训练时随机化，使一个模型作为上层智能体规划器的工具执行VLN·物体搜索·追踪·自动驾驶。

论文

主干LLM: Qwen3-VL-8B (含4B变体)
视觉编码器: SigLIP-2 ViT (Qwen3-VL内置，DeepStack)
动作头: 4层MLP航点回归 (hidden 512) (回归)
动作块: 航点8个
控制频率: 4.9–5.1 Hz (Go2实际部署)
架构原文摘要: Qwen3-VL(4B·8B;SigLIP-2 ViT·2D-RoPE动态分辨率·DeepStack) + 4层MLP动作头(hidden 512) → 8个航点(x,y,θ)连续回归(MSE);推理时调整任务模式(VLN·PointNav·ObjNav·Tracking)与视觉token预算(2048–4096)·时间衰减·相机权重·帧采样,上层规划器像工具一样调用;实际部署约5 Hz

预训练加速器: H100 (张数未公开)
预训练时长: 未公开
预训练步数·批量: 8B全局批量256，lr 2e-5(ViT·LLM)·1e-4(动作头)；步数·epoch未公开
GPU·TPU-小时: 2,816 (明示 · H100-小时（"a total of 2,816 H100 GPU hours"，8B模型）)
微调: 不适用 (从Qwen3-VL开始的单阶段端到端训练)
数据类型: 仿真·合成 / 真实机器人自主行驶日志 / 网络视觉-语言
数据规模: 15.6M样本(轨迹85%·VL 15%)：指令遵循5.63M(R2R 1,491K·RxR 4,140K)，PointNav 984K，ObjectNav 2,000K，跟踪1,486K(EVT-Bench)，自动驾驶约3.2M(nuScenes 78K·OpenScene 3,138K)，视频生成器数据40K；VL通用约1.0M + 导航推理约873K
主要数据集: VLN-CE R2R·RxR; Matterport3D·HM3D(Habitat); EVT-Bench; nuScenes; OpenScene(NAVSIM); NavGPT-2式推理数据; VQAv2·RefCOCO等通用VL
任务·评估: R2R-CE val-unseen SR 72.1%·SPL 66.6(8B全景;单目8B 65.7%·4B 66.9%), RxR-CE SR 76.5%·SPL 65.7;HM3Dv2 ObjectNav SR 75.6%(4B);EVT-Bench TR 90.0%(4B);NAVSIM PDMS 91.4(4B);智能体EQA HM-EQA 76.7%(Qwen3.6-Plus规划器);真机Go2零样本21.78 m往返VLN
机器人: Unitree Go2四足(仅用内置低分辨率相机)

推理设备·速度: Unitree Go2(4B模型)：远程服务器平均196 ms(5.1 Hz)，Jetson Thor端侧(FP8·TensorRT) 204 ms(4.9 Hz)(论文)；README记为Jetson Thor端侧196 ms(5.1 Hz)；内存未公开
推理显存: 未公开
权重 bf16（计算）: 16 GB
运行位置: 机载Jetson Thor (FP8·TensorRT)或远程服务器

强化学习: 未使用 · 轨迹MSE + VL下一token监督学习（轨迹:VL 85:15 联合训练）
底盘控制: 四足 (航点 → 跟踪控制器) · 模型输出航点 8个（x,y,θ）→ Go2跟踪（底层控制器未注明）；上层规划器切换任务模式·上下文设置进行调用

核心特点: 将任务模式和观测上下文(token预算·时间衰减·相机权重)参数化并在训练时随机化，使一个模型作为上层智能体规划器的工具执行VLN·物体搜索·追踪·自动驾驶。用15.6M样本训练的8B取得R2R-CE SR 72.1%·RxR-CE SR 76.5%(全景)，并在Go2上以Jetson Thor端侧4.9 Hz零样本行驶。
备注: README: 'There is currently no plan to release the model weights'。延迟数值冲突: 论文为远程196 ms·端侧204 ms,README为端侧196 ms。单目结果(R2R SR 65.7%)与LightNav-0对比表一致。'真机自主驾驶日志'为车辆驾驶数据(nuScenes·OpenScene)。摘要中的2B变体不在结果表中。
核验: 已确认