GNM

UC Berkeley·Toyota Motor North America · 2022-10

VA导航8.7M回归

将6种机器人采集的异构行驶数据通过归一化动作空间和时间上下文统一，学习单一的图像目标条件导航策略。

论文

主干LLM: 无
视觉编码器: MobileNetV2 ×2 (观测上下文 / 观测+目标)
动作头: 航点5个(x, y, yaw)回归 + 时间距离头 (回归)
动作块: 航点5个
控制频率: 4 Hz (部署设置；论文未注明)
架构原文摘要: 2个MobileNetV2编码器(过去5帧堆叠观测 / 观测+目标图像) → 嵌入拼接·FC 3层 → 2个头: 回归5个归一化相对航点(x, y, yaw变化) + 到目标的时间距离;85×64 RGB;由各机器人底层控制器跟踪

预训练加速器: 多GPU（型号·数量未公开）
预训练时长: 未公开
预训练步数·批量: 批量 400–1200（论文）；公开的gnm_large设置 30 epoch · 批量 400
GPU·TPU-小时: 未公开
微调: 不适用 (无需按机器人微调即部署)
数据类型: 真实机器人遥操作 / 真实机器人自主行驶日志
数据规模: 60小时以上(摘要·正文)/70小时(表I)；6个机器人平台；数据集8个(正文)/9个(表I)
主要数据集: GoStanford; RECON; CoryHall; Berkeley; SCAND; Seattle; TartanDrive; NeBula
任务·评估: 真实机器人图像目标导航成功率(GNM-Mid)：LoCoBot 0.96·Tello 0.99·Vizbot 0.93·Jackal 0.94 (单一数据集GS 0.26·0.21·0.51·0.31，RECON 0.62·0.79·0.26·0.68)；基于拓扑图的长距离导航
机器人: 评估：LoCoBot·Vizbot·Clearpath Jackal轮式，DJI Tello四旋翼(限制在离地1m水平面，未用飞行数据训练)；训练数据：6种机器人平台

强化学习: 未使用 · 仅监督模仿学习 (动作·距离两个头联合监督学习)
底盘控制: 轮式·飞行 (航点 → 跟踪控制器) · 策略输出5个归一化相对航点 → 各机器人的底层控制器(PID·MPPI等)跟踪；Tello无人机限制在离地1m的水平面

核心特点: 将6种机器人采集的异构行驶数据通过归一化动作空间和时间上下文统一，学习单一的图像目标条件导航策略。无需逐机器人微调即驱动了包括训练中未出现的Tello四旋翼在内的4台机器人，部分情况下性能比单数据集策略高出最多5倍。
备注: 数据时长正文60h与表I 70h不一致，数据集数量也有8/9个之差。参数量GNM论文中没有，由同一团队的ViNT论文附录记为8.7M。Small/Mid/Large的差别在于使用数据集2/4/6个，而非模型大小。检查点在Google Drive公开，代码并入visualnav-transformer（README含LoCoBot+Jetson Orin Nano部署示例）。ICRA 2023。
核验: 已确认