NaVILA

UC San Diego·USC·NVIDIA · 2024-12

VLA导航8B离散token

两阶段结构：VLA不输出底层关节指令，而是输出含距离·角度的中层语言动作，由使用LiDAR高度图的RL行走策略在避障的同时执行。

论文

主干LLM: Llama 3 8B · VILA配置 (README检查点名)
视觉编码器: SigLIP (README检查点名)
动作头: 中间语言动作文本 (前进cm · 旋转度 · 停止) → 固定速度指令 (离散token)
动作块: 无 (单步)
控制频率: VLA约1 FPS (RTX 4090)
架构原文摘要: 基于VILA的8B VLM (README检查点名：SigLIP视觉编码器 + Llama 3 8B) + MLP投影器，每帧196 token·实际部署8帧记忆；中层语言动作('move forward 75 cm', 'turn right 30 degrees', 'stop') → 以固定速度(0.5 m/s，±π/6 rad/s，0)执行相应时长 → RL行走策略(LiDAR高度图 + 本体感知)输出关节位置目标

预训练加速器: A100 4节点 (VLA instruction-tuning阶段；继承自VILA的第1·2阶段为A100 16节点，每节点8 GPU)
预训练时长: 18小时 (instruction-tuning阶段)
预训练步数·批量: 1个epoch (lr 1e-4余弦衰减·warm-up 0.03；批量未公开)
GPU·TPU-小时: 未公开
微调: VLA无单独微调；RL行走策略用Isaac Lab PPO，单张RTX 4090吞吐60K FPS以上 (训练时间未公开)
数据类型: 仿真·合成 / 网络视频 / 网络视觉-语言
数据规模: YouTube第一视角导览视频2K个 → 轨迹20K(用MASt3R位姿估计标注动作)；R2R·RxR·EnvDrop·ScanQA·通用VQA规模未注明
主要数据集: R2R-CE;RxR-CE;R2R-EnvDrop;ScanQA;YouTube Human Touring(自建);通用视频VQA(video_chatgpt·sharegpt_video·sharegpt4v_sft, README)
任务·评估: R2R-CE val-unseen SR 54.0%·SPL 49.0%;RxR-CE SR 49.3%·SPL 44.0%;引入自建VLN-CE-Isaac基准(R2R val-unseen 1,077条轨迹);真实世界Workspace·Home·Outdoor 25条指令×3次SR 88%,复合指令75%
机器人: Unitree Go2四足(LiDAR)；Unitree H1·Booster T1人形机器人

推理设备·速度: VLA在单张RTX 4090上约1 FPS；FP16 594.58 ms·18.5 GB，AWQ W4A16 367.80 ms·8.6 GB (1,737个上下文token)；运行位置未明示(提到量化后直接部署到机器人可省去图像传输时间)
推理显存: 18.5 GB (FP16)
权重 bf16（计算）: 16 GB
运行位置: RTX 4090 1张 (未说明是否机载)

强化学习: 部分 (结合RL底层控制器) · VLA为SFT，底层行走策略在Isaac Lab中用PPO训练(LiDAR高度图，输出关节位置)
强化学习依据: https://arxiv.org/abs/2412.04453
底盘控制: 四足·人形双足 (指令/潜变量 → RL行走控制器) · VLA输出中层语言指令(距离·角度·停止) → 转换为固定速度指令 → RL行走策略控制关节位置

核心特点: 两阶段结构：VLA不输出底层关节指令，而是输出含距离·角度的中层语言动作，由使用LiDAR高度图的RL行走策略在避障的同时执行。用包含由2K个YouTube导览视频生成的20K条轨迹的数据训练，R2R-CE SR达54.0%，在真实世界25条指令上成功率88%。
备注: LLM·视觉编码器名称论文未注明,依据README检查点名(navila-siglip-llama3-8b-v1.5-pretrain, navila-llama3-8b-8f);继承VILA第1·2阶段(连接器初始化4小时·VL预训练30小时);RL行走策略控制频率未注明(LiDAR 15 Hz);公开权重·训练代码·数据标注(YouTube原始仅提供视频ID);RSS 2025。基础: VILA: On Pre-training for Visual Language Models (arXiv 2312.07533) — 论文明确称构建于VILA之上并从VILA继承第1·2阶段
核验: 已确认