NWM

NWM (Navigation World Models)

Meta FAIR·New York University·UC Berkeley · 2024-12

기타导航1B视频world model

用机器人行驶视频和动作训练1B条件扩散Transformer（CDiT）world model，想象动作序列的未来视频，并以与目标图像的相似度规划·评估轨迹。

论文

主干LLM: 无
视觉编码器: Stable Diffusion VAE (潜在编码)
动作头: CEM规划 / NoMaD样本排序 (目标相似度能量) (视频world model)
动作块: 8步动作序列 (CEM)
控制频率: 未公开 (蒸馏时每条轨迹 0.4秒)
架构原文摘要: Stable Diffusion VAE潜变量 + CDiT-XL(1B)：过去4帧上下文，以动作(移动·yaw)·时间偏移k·扩散步嵌入之和作为AdaLN条件生成未来帧(去噪250步，蒸馏后6步)；规划：用CEM优化8步动作序列(候选N=120)或对NoMaD采样排序

预训练加速器: H100 64张 (8节点 × 8)
预训练时长: 未公开
预训练步数·批量: 100k步 (HF卡片；含Ego4D版本200k) · 最终批量4,096 (1,024 × 4个目标)
GPU·TPU-小时: 未公开
微调: 不适用
数据类型: 真实机器人遥操作 / 真实机器人自主行驶日志 / 人类视频
数据规模: SCAND 8.7h·TartanDrive 5h·RECON 40h·HuRoN 75h以上 + Ego4D视频1,619个·908h以上(无动作标签)
主要数据集: SCAND; TartanDrive; RECON; HuRoN(SACSoN); Ego4D(无标签); 评估GO Stanford(未见环境)
任务·评估: RECON规划ATE 1.13·RPE 0.35 (NoMaD 1.93·0.52);NoMaD采样×32排序ATE 1.78·RPE 0.48 (×16 1.83·0.50);评估单步·轨迹视频预测(LPIPS·DreamSim·FID)
机器人: 无真实机器人部署 (离线评估)；训练数据为多种机器人的行驶视频

推理设备·速度: RTX 6000 Ada上单条轨迹仿真30.3秒 → Time Skip 14.7秒 → 蒸馏(250→6去噪) 0.4秒;4-bit量化0.1秒为估算值;声称可实时用于2–10 Hz
推理显存: 未公开
权重 bf16（计算）: 2 GB
运行位置: 未公开

强化学习: 未使用 · 扩散world model监督学习 + CEM规划 (未使用RL)
底盘控制: 仅仿真 (由规划/优化决定移动) · 不驱动真实机器人：在记录的行驶数据上用world model对(移动·yaw)动作序列做CEM规划，或对NoMaD样本排序，进行离线评估

核心特点: 用机器人行驶视频和动作训练1B条件扩散Transformer（CDiT）world model，想象动作序列的未来视频，并以与目标图像的相似度规划·评估轨迹。在RECON上单独规划ATE 1.13·RPE 0.35，比NoMaD（1.93·0.52）更准确，加入无标签Ego4D视频后改善了未见环境预测。
备注: 训练时长未公开。HF公开模型用人脸模糊数据重新训练，可能与论文数值不同(需申请，CC BY-NC 4.0)。未驱动实机，仅进行离线规划评估。总数据时间未注明。CVPR 2025 Oral。
核验: 已确认