VLingNav

ByteDance Seed·Peking University·Zhongguancun Academy · 2026-01

VLA导航7B回归

具备仅在需要时开启显式推理的自适应CoT与结合语言摘要·关键视觉特征的记忆的导航VLA，在模仿学习后以专家引导的在线RL进行后训练。

论文

主干LLM: Qwen2-7B · LLaVA-Video-7B配置
视觉编码器: SigLIP-400M
动作头: MLP动作头 (高斯) 航点轨迹 (x, y, θ) + 自适应CoT文本 (回归)
动作块: 未公开
控制频率: 约2.5 FPS (延迟低于300 ms)
架构原文摘要: SigLIP-400M + LLaVA-Video-7B；自适应CoT(<think_on>/<think_off>指令token，平均仅2.1%的步进行推理) + 视觉辅助语言记忆(VLingMem，保留过去视觉token·仅编码最新帧)；最后token隐状态 → MLP动作头(高斯)输出航点轨迹(x, y, θ)

预训练加速器: A100 128张
预训练时长: 未公开
预训练步数·批量: 3阶段：开放式自适应CoT视频预训练1个epoch → SFT联合训练20K步·总批量512 → 在线RL
GPU·TPU-小时: 未公开
微调: 在线RL：每轮迭代采集on-policy 128个episode × 10次更新，PPO式目标 + REINFORCE++优势，专家引导混合目标(停滞15步时专家介入)；GPU·时长未公开
数据类型: 仿真·合成 / 网络视觉-语言
数据规模: 共4.5M：导航2.9M(Nav-AdaCoT-2.9M，CoT标注约472K) + 开放式视频1.6M
主要数据集: Nav-AdaCoT-2.9M(HM3D·MP3D ObjectNav,跟踪,ImageNav);LLaVA-Video-178K;Video-R1;ScanQA
任务·评估: ObjectNav SR HM3Dv1 79.1%·HM3Dv2 83.0%·MP3D 58.9%;HM3D-OVON val-unseen SR 50.1%;EVT-Bench SR单一88.4%·干扰67.6%;HM3D Instance ImageNav SR 60.8%·SPL 37.4%;真实世界Go2家庭·办公室·室外ObjectNav·跟踪·ImageNav
机器人: Unitree Go2四足 + 头戴RealSense D457 (RGB 1280×800，HFOV 90°)

强化学习: 使用 (VLA RL后训练) · 3阶段专家引导在线RL(仿真on-policy rollout，PPO式目标·REINFORCE++优势)
强化学习依据: https://arxiv.org/abs/2601.08665
底盘控制: 四足 (航点 → 跟踪控制器) · VLA输出航点轨迹 → NMPC计算线速度·角速度进行跟踪

核心特点: 具备仅在需要时开启显式推理的自适应CoT与结合语言摘要·关键视觉特征的记忆的导航VLA，在模仿学习后以专家引导的在线RL进行后训练。报告HM3Dv2 ObjectNav SR 83.0%及EVT-Bench·Instance ImageNav最高水平，并零样本迁移到Unitree Go2。
备注: 新增模型：2026年ByteDance Seed的导航VLA，结合自适应CoT·语言记忆·在线RL后训练，报告了ObjectNav·跟踪·ImageNav的最高水平，故收录；LLaVA-Video-7B内置LLM名称论文未注明(StreamVLN论文记为Qwen2-7B)；航点数n未注明；训练时长未公开；权重·代码未公开(仅有项目页面)；无VLN-CE结果。
核验: 已确认