Uni-NaVid

Peking University·Galbot·BAAI · 2024-12

VLA导航7B离散token

统一VLN·ObjectNav·EQA·人物跟随4种导航任务的输入输出格式，训练为一个视频VLA，并通过在线token合并和4步动作预测实现约5 Hz非阻塞实际部署。

论文

主干LLM: Vicuna-7B
视觉编码器: EVA-CLIP
动作头: 离散动作token 4个 (前进25 cm · 左右转30° · 停止)或文本回答 (离散token)
动作块: 4个动作
控制频率: 约5 Hz (推理0.2秒)
架构原文摘要: EVA-CLIP + 2层MLP投影器 + Vicuna-7B (LLaMA-VID·NaVid系)；在线视觉token合并(当前64个·短期记忆4个·长期记忆每帧组1个)；输出接下来4个离散动作token(FORWARD 25 cm·TURN-LEFT/RIGHT 30°·STOP)或文本回答(EQA)；在远程A100上约5 Hz

预训练加速器: H800 40张
预训练时长: 约35小时
预训练步数·批量: 1个epoch (批量未公开)
GPU·TPU-小时: 1,400 (明示 · H800-小时（"totaling 1400 GPU hours"）)
微调: 不适用 (两阶段训练：第1阶段仅对齐训练投影器·第2阶段导航·视频QA联合训练；README提供基于Uni-NaVid的额外微调脚本)
数据类型: 仿真·合成 / 网络视觉-语言
数据规模: 导航 3.6M样本（VLN 2.4M，ObjectNav 483k，EQA 视频-动作 240k + 视频-答案 10k，人员跟随 544k）+ 视频QA 2.3M
主要数据集: VLN-CE R2R·RxR; HM3D ObjectNav; MP3D-EQA; Habitat 3.0人物跟随(自采); 公开视频QA 2.3M
任务·评估: R2R-CE val-unseen SR 47.0%·SPL 42.7%;RxR-CE SR 48.7%·SPL 40.9%;HM3D ObjectNav SR 73.7%·SPL 37.1%;MP3D-EQA ACC 47.3%(GT轨迹时54.4%);跟人(Habitat 3.0自建基准) SR 61.21%;真实世界复合指令演示
机器人: Unitree Go2四足 + 头戴RealSense D455 (模型输入为单目RGB；内置LiDAR-L1仅用于局部运动规划)

推理设备·速度: 在远程服务器A100 1块上推理约0.2秒(约5 Hz) + 互联网通信(发送图像·接收指令)约0.3秒；README提到量化后可进一步加速；内存未公开
推理显存: 未公开
权重 bf16（计算）: 14 GB
运行位置: 远程服务器 (A100)

强化学习: 未使用 · 仅模仿学习（SFT）
底盘控制: 四足 (离散移动动作) · VLA输出4个离散动作(前进25 cm·旋转30°·停止) → 机器人以非阻塞方式顺序执行 (LiDAR用于局部运动规划)

核心特点: 统一VLN·ObjectNav·EQA·人物跟随4种导航任务的输入输出格式，训练为一个视频VLA，并通过在线token合并和4步动作预测实现约5 Hz非阻塞实际部署。借助3.6M导航样本的跨任务协同，在R2R-CE SR 47.0%、HM3D ObjectNav SR 73.7%等多个基准上报告了当时最高水平。
备注: 公开权重(HF Jzzhang/Uni-NaVid，uninavid-7b-full-224-video-fps-1-grid-2)因许可问题为部分功能重写的开源版本，未使用ObjectNav用L3MVN数据；README表R2R val SR 51.8%·RxR val SR 56.1%与论文数值不同；训练·评估代码已公开；批量·学习率未公开；RSS 2025。基础：NaVid: Video-based VLM Plans the Next Step for Vision-and-Language Navigation (arXiv 2402.15852) — README：代码基于LLaMA-VID·NaVid
核验: 已反映修正