LeLaN

UC Berkeley·Toyota Motor North America · 2024-10

VLA导航未公开回归

对YouTube导览·人类行走视频和机器人行驶数据，用SAM·VLM(CogVLM)·GPT-3.5添加物体指令，并用深度估计标注物体位置，训练语言条件物体导航策略。

论文

主干LLM: 无
视觉编码器: ResNet-FiLM (提示条件；历史变体EfficientNet-B0)
动作头: 线速度·角速度 24步回归 (回归)
动作块: 24步 (执行第一步)
控制频率: 未公开 (每个动作 0.054秒)
架构原文摘要: 固定CLIP文本编码器(ViT-B/32) + 提示FiLM条件ResNet视觉编码器(使用历史的变体为EfficientNet-B0) → Transformer + MLP → 回归线速度·角速度24步序列，仅执行第一步(receding horizon)

预训练加速器: RTX 4090 1张 (i9·96GB RAM工作站)
预训练时长: 未公开
预训练步数·批量: 批量 256（epoch·步数未公开；公开的lelan.yaml为100 epoch）
GPU·TPU-小时: 未公开
微调: 避碰变体：无碰撞损失预训练后用NoMaD监督的碰撞损失微调 (README)；GPU·时间未公开
数据类型: 真实机器人遥操作 / 真实机器人自主行驶日志 / 网络视频 / 人类视频
数据规模: 表1：室内机器人31.0h(图像111,570) · YouTube导览82.5h(593,727) · 人类行走15.7h(113,277)；提示3.4M·14.6M·2.3M
主要数据集: GO Stanford 2·4；SACSoN(HuRoN)；YouTube Tour(32个国家)；Human-walking(自采，3个国家11个城市)
任务·评估: 真实环境语言指定物体到达成功率0.89 (OWL-v2+ZoeDepth 0.67，CoW 0.58，OWL-ViT+ViNT 0.47，OpenFMNav 0.43)；噪声提示0.88；动态物体0.83；障碍环境应用碰撞损失0.60 (OWL-v2+ZoeDepth 0.40)
机器人: 轮式机器人（README：基于Roomba的Vizbot；RICOH Theta S前向鱼眼），Unitree Go1四足；D435i等相机交叉测试

强化学习: 未使用 · 仅监督学习 (将NoMaD避碰轨迹作为损失蒸馏)
底盘控制: 轮式·四足 (直接输出底盘速度/位姿) · 策略输出24步线速度·角速度序列，只用/cmd_vel执行第一步 (receding horizon)

核心特点: 对YouTube导览·人类行走视频和机器人行驶数据，用SAM·VLM(CogVLM)·GPT-3.5添加物体指令，并用深度估计标注物体位置，训练语言条件物体导航策略。真实环境零样本成功率0.89，高于OWL-v2+ZoeDepth(0.67)·CoW(0.58)等模块化基线，在Jetson Orin上每个动作0.054秒。
备注: 数据总量摘要为130小时以上（贡献列表为120小时以上；表1三项合计129.2h）。参数·训练时间未公开。README的arXiv徽章指向另一篇论文（2407.08693），实际论文为2410.03603。长距离目标结合OWL-ViT2节点检索 + ViNT拓扑图（README）。数据·权重公开。CoRL 2024。
核验: 已反映修正