InternVLA-N1

Shanghai AI Laboratory (Intern Robotics) · 2025-07

VLA导航8.39Bdiffusion

异步双系统导航基础模型：基于VLM的System 2以低频输出图像上的像素目标·潜在规划，基于diffusion的System 1以此为条件生成高频轨迹。

论文

分类: 导航
类型: VLA
发布: 2025-07
机构: Shanghai AI Laboratory (Intern Robotics)
权重公开: 是
参数: 8.39B (HF Preview safetensors) / 8.38B (HF DualVLN)；System 2为Qwen2.5-VL 7B

主干LLM: Qwen2.5-VL-7B (System 2)
视觉编码器: Qwen2.5-VL视觉编码器 (S2) + DepthAnything RGB编码器 (S1)
动作头: S2像素目标·潜在规划 → S1 diffusion轨迹 (DualVLN航点32个) (diffusion)
动作块: 轨迹（DualVLN 密集航点 32个）
控制频率: S2 2 Hz · S1 30 Hz · 控制200 Hz
架构原文摘要: System 2：Qwen2.5-VL-7B根据过去·当前RGB和指令以2 Hz输出图像上的像素目标(或学习型潜在规划token)·停止·原地旋转 / System 1：NavDP系diffusion策略(DepthAnything RGB编码器，含critic；DualVLN为DiT 12层·hidden 384)以30 Hz生成短程轨迹(DualVLN密集航点32个) → MPC跟踪，底层控制器200 Hz

预训练加速器: 未公开
预训练时长: 未公开
预训练步数·批量: 报告：S2 SFT 1 epoch；DualVLN论文：S2 14,000步·批量 128（lr 2e-5），S1 15,000步·批量 128（lr 1e-4）
GPU·TPU-小时: 未公开
微调: 2阶段联合调整(S2冻结，潜在规划token + S1异步微调)算力未公开；使用world model扩展(Wan2.1 1.3B)时R2R-CE最优epoch 4→2
数据类型: 仿真·合成
数据规模: InternData-N1: 3,154个场景·4,839.9 km·1,344小时·53.5M图像·0.8M指令 (VLN-N1 3,000+场景·40M图像·600k指令;VLN-CE 332,179回合·856个场景;VLN-PE 8,679回合);S2对齐样本5M以上
主要数据集: InternData-N1 (VLN-N1: Replica·MP3D·Gibson·3D-Front·HSSD·HM3D;VLN-CE: R2R·RxR·EnvDrop·ScaleVLN回放;VLN-PE: InternUtopia物理仿真)
任务·评估: 技术报告：R2R-CE val-unseen SR 55.4%（S2）·58.2%（S1+S2），RxR-CE SR 49.5%·53.5%；在VLN-PE（H1）零样本中SR比VLN-PE训练模型高17%以上；DualVLN：R2R-CE SR 64.3%·SPL 58.5%，RxR-CE SR 61.4%·SPL 51.8%，VLN-PE R2R unseen SR 51.6%；真实世界办公室·餐厅·街道等
机器人: Turtlebot4轮式，Unitree Go2四足，Unitree G1人形机器人；RealSense D455(向下15°)

推理设备·速度: 远程RTX 4090 1块，GPU内存约20GB；通过复用S2轨迹token KV缓存从约1.1秒→0.7秒；S1用TensorRT生成32条轨迹约0.03秒；S2 2 Hz·S1 30 Hz
推理显存: 约20GB
权重 bf16（计算）: 16.8 GB
运行位置: 远程服务器 (RTX 4090)

核心特点: 异步双系统导航基础模型：基于VLM的System 2以低频输出图像上的像素目标·潜在规划，基于diffusion的System 1以此为条件生成高频轨迹。用仅仿真的InternData-N1(53.5M图像·4,839.9 km)训练，在VLN-CE·VLN-PE上达到最高水平，并零样本迁移到轮式·四足·人形真实机器人。
备注: 发布以HF InternVLA-N1-Preview仓库创建（2025-07-21）为准，技术报告为2025-09-11，DualVLN论文 arXiv 2512.08186（2025-12）；HF变体：Preview（同步，约 2 Hz）→ wo-dagger（首个正式版更名）→ w-NavDP*·DualVLN（推荐，仅RGB）；训练GPU·时间未公开；数据规模标注50M以上/53M/53.5M混杂；许可证 CC BY-NC-SA 4.0；2025-12公开训练代码。基于：NavDP: Learning Sim-to-Real Navigation Diffusion Policy with Privileged Information Guidance (arXiv 2505.08712) — 报告明示System 1沿用与NavDP相似的结构
核验: 已确认