StreamVLN

Shanghai AI Laboratory·The University of Hong Kong·Zhejiang University·Shanghai Jiao Tong University · 2025-07

VLA导航8.03B离散token

将连续视频作为多轮对话处理，近期对话以滑动窗口KV缓存复用，过往视觉信息以基于3D体素的token剪枝记忆压缩的流式VLN模型。

论文

分类: 导航
类型: VLA
发布: 2025-07
机构: Shanghai AI Laboratory·The University of Hong Kong·Zhejiang University·Shanghai Jiao Tong University
权重公开: 是
参数: 8.03B (HF safetensors；基于LLaVA-Video 7B)

主干LLM: Qwen2-7B · LLaVA-Video 7B配置
视觉编码器: LLaVA-Video内置视觉编码器 (名称未注明)
动作头: 离散动作文本 (↑ 25 cm · ←/→ 15° · STOP)，每轮4个 (离散token)
动作块: 4个动作 (代码默认值)
控制频率: 每4个动作0.27秒 (RTX 4090)
架构原文摘要: 基于LLaVA-Video 7B (LLM Qwen2-7B)的多轮对话式流式处理;fast: 复用最近N轮滑动窗口KV缓存,slow: 基于3D体素的token剪枝记忆;每轮输出离散动作文本(↑ 前进25 cm·←/→ 旋转15°·STOP,代码默认4个)

预训练加速器: A100 (张数未公开)
预训练时长: 未公开
预训练步数·批量: 2阶段：oracle VLN轨迹1个epoch → DAgger·VL数据联合训练再1个epoch；每步128个视频片段 (最大lr LLM 2e-5·视觉编码器5e-6)
GPU·TPU-小时: 1,500 (明示 · A100-小时（"around 1500 A100 GPU hours"）)
微调: 不适用 (另行公开真实世界部署用检查点，训练计算未公开)
数据类型: 仿真·合成 / 网络视觉-语言
数据规模: VLN视频片段450K(MP3D 60个环境，R2R·R2R-EnvDrop·RxR) + ScaleVLN子集300K(另一节为150k) + DAgger 240K + 视频VQA 248K + MMC4交错230K；混合比例VLA 67%·通用33%
主要数据集: R2R-CE;RxR-CE;R2R-EnvDrop;ScaleVLN(HM3D, VLN-CE转换子集);LLaVA-Video-178K;ScanQA·SQA3D;MMC4
任务·评估: R2R-CE val-unseen SR 52.8%·SPL 47.2% (追加VLN数据 † SR 56.4%·SPL 50.2%);RxR-CE SR 48.6%·SPL 42.5% († SR 54.4%·SPL 45.4%);真机Go2执行室内·室外简单·长程指令
机器人: Unitree Go2四足 + RealSense D455 (模型输入RGB；深度·里程计用于token剪枝反投影)

推理设备·速度: 远程工作站RTX 4090；推理4个动作平均0.27秒 + 通信0.2秒(室内)·1.0秒(室外)；Go2将视频流式传输到服务器；内存未公开
推理显存: 未公开
权重 bf16（计算）: 16.1 GB
运行位置: 远程工作站 (RTX 4090)

核心特点: 将连续视频作为多轮对话处理，近期对话以滑动窗口KV缓存复用，过往视觉信息以基于3D体素的token剪枝记忆压缩的流式VLN模型。在长视频中也保持低延迟，取得R2R-CE SR 56.4%(额外VLN数据)，并在Unitree Go2真实机器人上执行室内·室外指令。
备注: 以arXiv v2(2026-07)为准；正文数值(R2R SR 56.9%·SPL 51.9%，RxR SR 52.9%·SPL 46.0%)与Table I(56.4/50.2，54.4/45.4)不一致；动作token数描述不一致('8 action tokens' vs '0.27s for 4 actions')，官方代码默认num_future_steps=4；ScaleVLN 300K vs 150k不一致；GPU数量·时长未公开；代码·数据·检查点2种(基准用·真实世界用)已公开，CC BY-NC-SA 4.0。基础：LLaVA-Video: Video Instruction Tuning With Synthetic Data (arXiv 2410.02713) — 论文·README明示构建于LLaVA-Video 7B之上
核验: 已确认