NaVid

Peking University·BAAI·CASIA·University of Adelaide·Australian National University·Galbot · 2024-02

VLA导航7B离散token

仅凭单目RGB视频历史和语言指令以语言输出下一动作的基于视频VLM的VLN智能体，无需地图·里程计·深度即可在连续环境（VLN-CE）中运行。

论文

分类: 导航
类型: VLA
发布: 2024-02
机构: Peking University·BAAI·CASIA·University of Adelaide·Australian National University·Galbot
权重公开: 是
参数: 7B (基于Vicuna-7B；总体数值未注明)

主干LLM: Vicuna-7B · LLaMA-VID配置
视觉编码器: EVA-CLIP (EVA-ViT-G权重)
动作头: 下一动作文本（FORWARD+距离 · TURN+角度 · STOP，正则表达式解析） (离散token)
动作块: 无 (单步)
控制频率: 每个动作1.2–1.5秒
架构原文摘要: EVA-CLIP视觉编码器 + 指令查询token·指令无关token(当前帧64个，每个历史帧4个) + Vicuna-7B (基于LLaMA-VID)；以文本输出下一个动作(FORWARD+移动距离，TURN-LEFT/RIGHT+旋转角度，STOP)，用正则解析器提取；仅输入单目RGB视频，每个动作1.2–1.5秒

预训练加速器: A100 24张 (从LLaMA-VID权重训练NaVid)
预训练时长: 约28小时
预训练步数·批量: 1个epoch (批量未公开)
GPU·TPU-小时: 672 (明示 · A100-小时（"totaling 672 GPU hours"）)
微调: 不适用 (导航·网络数据单一联合训练阶段)
数据类型: 仿真·合成 / 网络视觉-语言
数据规模: 导航 510k样本（MP3D 61个场景 oracle步 320k + 非oracle 180k + 指令推理辅助 10k条轨迹）+ 网络数据 763k（视频字幕等）
主要数据集: VLN-CE R2R (MP3D 61个场景)；网络视频-字幕数据763k (具体来源未注明)
任务·评估: R2R-CE val-unseen SR 37.4%·SPL 35.9%·NE 5.47;RxR-CE跨数据集(R2R训练) SR 23.8%·SPL 21.2%;室内4个场景(Meeting room·Office·Lab·Lounge)简单·复合指令共200次真机试验
机器人: TurtleBot 4轮式 + Azure Kinect DK (模型仅用RGB；LiDAR·Nav2用于需要里程计的基线模型)

核心特点: 仅凭单目RGB视频历史和语言指令以语言输出下一动作的基于视频VLM的VLN智能体，无需地图·里程计·深度即可在连续环境（VLN-CE）中运行。用仿真510k样本和网络数据763k联合训练，在R2R-CE SR 37.4%和室内200条指令实机测试中展示了sim-to-real泛化。
备注: README公开的检查点(HF Jzzhang/NaVid, CC BY-NC 4.0)是用R2R·RxR训练划分按Uni-NaVid训练策略重新训练的版本,R2R val SR 41.9%·RxR val SR 45.7%(README表),与论文数值不同;公开评估代码;预训练栏以LLaMA-VID初始化后的NaVid训练阶段(仅训练LLaMA·文本编码器)为准;批量·学习率未公开;RSS 2024。基础: LLaMA-VID: An Image is Worth 2 Tokens in Large Language Models (arXiv 2311.17043) — 论文明确称构建于视频VLM LLaMA-VID之上
核验: 已确认