NoMaD

UC Berkeley · 2023-10

VA导航19Mdiffusion

以概率性遮盖目标图像的目标掩码，在一个扩散策略中同时处理目标导向导航和无目标探索。

论文

主干LLM: 无
视觉编码器: EfficientNet-B0 (观测 / 观测+目标)
动作头: 1D条件U-Net扩散头 (K=10) + 时间距离头 (diffusion)
动作块: 航点8个 (公开配置)
控制频率: 未公开 (部署设置 4 Hz)
架构原文摘要: 用EfficientNet-B0将观测·目标编码为256维token → Transformer 4层·4头(目标掩码p_m=0.5) → 1D条件U-Net扩散头(K=10去噪)生成未来动作序列(公开设置为8个航点) + 时间距离头；PD控制器转换为速度

预训练加速器: 未公开 (致谢中仅提及Google TPU Research Cloud等计算支持)
预训练时长: 未公开
预训练步数·批量: 30个epoch · 批量256 (公开nomad.yaml为100个epoch)
GPU·TPU-小时: 未公开
微调: 不适用
数据类型: 真实机器人遥操作 / 真实机器人自主行驶日志
数据规模: GNM·SACSoN数据集100小时以上
主要数据集: GNM数据混合(RECON、GoStanford、SCAND、TartanDrive等)；SACSoN(HuRoN)
任务·评估: 真实环境探索成功率98%·碰撞0.2次 (Subgoal Diffusion 77%·1.7次，Random Subgoals 70%)；目标条件导航90%；相比专用策略探索98%(Diffusion Policy 98%)·目标92%(ViNT 92%)
机器人: LoCoBot轮式 (室内·室外环境)

推理设备·速度: 面向Jetson Orin级机载运行 (论文);README部署示例LoCoBot + Jetson Orin Nano;扩散10步;延迟未公开 (部署循环设为4 Hz)
推理显存: 未公开
权重 bf16（计算）: 0 GB
运行位置: 机载Jetson Orin级 (README：Orin Nano)

核心特点: 以概率性遮盖目标图像的目标掩码，在一个扩散策略中同时处理目标导向导航和无目标探索。以19M参数在探索成功率（98% 对 77%）和碰撞（0.2次对 1.7次）上优于335M的subgoal扩散方法。
备注: 论文未注明动作序列长度·上下文·分辨率 → 按公开的nomad.yaml为航点 8个·上下文 3·96×96。训练GPU·时间未公开。在ViNT策略结构上结合目标掩码。权重在Google Drive公开。ICRA 2024。基于：ViNT: A Foundation Model for Visual Navigation (arXiv 2306.14846) — 在ViNT策略结构上结合目标掩码·扩散头（论文明示）
核验: 已确认