LightNav-0

Light Origins · 2026-08

VLA导航4.85B离散token

不给预训练VLM加新头，仅添加指点token与RVQ动作token，将指令跟随·物体搜索·视觉跟踪统一为单一token接口，并按ER中期训练→SFT→GRPO RL顺序训练。

论文

分类: 导航
类型: VLA
发布: 2026-08
机构: Light Origins
权重公开: 是
参数: 4.85B (HF safetensors) / 4B (基于Qwen3-VL-4B-Instruct；README表中为LightNav-ER 4B，无总量说明)

主干LLM: Qwen3-VL-4B-Instruct (36层LLM)
视觉编码器: Qwen3-VL原生分辨率ViT
动作头: 2个指向token + 3个RVQ动作token → 10个SE(2)航点 (离散token)
动作块: 航点10个
控制频率: 约4–5 Hz (README闭环)
架构原文摘要: Qwen3-VL-4B-Instruct(原生分辨率ViT + 36层LLM),无任务专用头,仅扩展词表;每步双通道指向token 2个(affordance·object) → RVQ动作token 3个(码本K=256×3) → 解码10步SE(2)航点;基于近因的历史压缩;第一个航点由机器人端MPC跟踪,闭环约4–5 Hz

预训练加速器: H100 (张数未公开)
预训练时长: 未公开
预训练步数·批量: ER中期训练批量128·最多10,240 token·lr 1e-5，SFT批量320·最多8,192 token(每序列约打包8.6个样本)·lr 1.5e-5；步数未公开
GPU·TPU-小时: 1,120 (明示 · H100-小时（ER中期训练 "approximately 170 H100 GPU-hours" + SFT "approximately 950 H100 GPU-hours" 合计）)
微调: GRPO在线RL：H100 8张单节点，时间未公开；每次更新256个回合(G=8×B=32)，lr 1e-6
数据类型: 仿真·合成 / 网络视觉-语言
数据规模: 导航 2K+场景·4K+小时；ER中期训练 36个来源（指点 35%·单图VQA 25%·通用推理 20%·视频推理 20%）；SFT为导航 16个 + ER/VQA 33个来源（导航监督约 77.6%）+ DAgger收集数据；博客：Stage II 指令 742K（唯一 474K）
主要数据集: R2R;RxR;ScaleVLN;HM3D;MP3D;VLNVerse;Habitat-GS;InteriorGS;HM3D-OVON;EVT-Bench;ER: RefSpatial, RoboPoint, VSI-590K, SQA3D等
任务·评估: R2R-CE val-unseen SR 68.5%·SPL 62.8, RxR-CE SR 73.6%·SPL 64.5;ObjectNav MP3D 53.3%·HM3D v1 74.5%·v2 77.2%, HM3D-OVON unseen 47.0%;EVT-Bench STT SR 91.7%·DT SR 82.6%;INSIGHT-Bench SR 43.7%;LightNav-ER 8个ER基准平均67.4;真机4种零样本
机器人: Unitree Go2四足，LimX TRON 1，LightBot-0，飞行机器人(型号未注明)；论文仅描述为人形·四足·飞行·轮式4类

推理设备·速度: RTX 4090上每生成token约4 ms(vLLM, 论文);README: 单GPU每步约60–150 ms, Jetson AGX Thor机载bf16 268 ms(3.7 Hz)·fp8(仅LLM) 178 ms(5.6 Hz)·闭环4.5–4.8 Hz;机器人端MPC 10 Hz
推理显存: 未公开
权重 bf16（计算）: 9.7 GB
运行位置: 远程GPU服务器或机载Jetson AGX Thor

强化学习: 使用 (VLA RL后训练) · SFT后GRPO在线RL(任务级终局奖励，组归一化优势)
强化学习依据: https://arxiv.org/html/2608.30935v2
底盘控制: 轮式·四足·人形双足·飞行 (航点 → 跟踪控制器) · 模型输出10步SE(2)航点 → 机器人端MPC将第一个航点作为线速度·角速度指令跟踪（Go2·TRON1适配器）；也演示了飞行机器人

核心特点: 不给预训练VLM加新头，仅添加指点token与RVQ动作token，将指令跟随·物体搜索·视觉跟踪统一为单一token接口，并按ER中期训练→SFT→GRPO RL顺序训练。仅用单目RGB即在10个公开仿真设置中取得单目方法最高成功率(R2R-CE SR 68.5%，EVT-Bench STT SR 91.7%)，并零样本迁移到人形·四足·飞行·轮式机器人。
备注: GPU-小时为两个明示值之和(RL阶段时间未公开)。数据时间(h)取'4K+ hours'下限。权重HF LightOriginsHQ/LightNav-0，代码Apache 2.0，INSIGHT-Bench单独公开。博客(2026-09-01)称将2,000+互联网真实场景转换为可复用的仿真世界。TRON 1·LightBot-0的类型归类原文未注明。
核验: 已反映修正