VLA 图库 / 模型列表 / 导航

CityWalker

New York University · 2024-11

VA导航214M回归

为数千小时YouTube城市步行·驾驶视频用DPVO视觉里程计标注轨迹，模仿学习以GPS目标为条件的城市导航策略。

论文

CityWalker: Learning Embodied Urban Navigation from Web-Scale VideosarXiv 2411.17820

概述

分类

导航

类型

VA

发布

2024-11

机构

New York University

权重公开

是

参数

214M (可训练127M，DINOv2冻结)

架构

主干LLM

无

视觉编码器

DINOv2 ViT-B/14 (冻结)

动作头

航点5个回归 + 到达预测头 (回归)

动作块

航点5个

控制频率

未公开 (RTX 3060笔记本 1.7 fps)

架构原文摘要

用固定DINOv2 ViT-B/14编码过去5帧 + 目标坐标Fourier特征嵌入 → Transformer 16层·8头(768维) → 动作头：欧氏航点5个 + 到达预测头；改造ViNT PD控制器输出速度指令

训练

预训练加速器

H100 2张

预训练时长

30小时

预训练步数·批量

10个epoch · 批量32

GPU·TPU-小时

60 (换算 · H100 2张 × 30小时)

微调

用Go1遥操作6小时数据微调,lr 5e-5;GPU·时间未公开

数据类型

网络视频 / 真实机器人遥操作

数据规模

YouTube行走·驾驶视频共2,522小时中用2,000小时训练；Go1遥操作15小时(微调6h·评估9h)

主要数据集

CityWalk YouTube步行·驾驶播放列表(DPVO标注)；自有Go1遥操作数据(HF ai4ce/CityWalker)

任务·评估

离线城市基准平均(微调)：MAOE 15.2°·到达率81.8% (ViNT 16.5°·70.5%，GNM 16.2°·68.6%，NoMaD 19.1°·68.6%)；真实环境Go1成功率77.3% (微调ViNT 57.1%，零样本NoMaD 42.9%，零样本ViNT 37.7%)

机器人

Unitree Go1四足 (Livox Mid-360 LiDAR·网络摄像头)

推理

推理设备·速度

RTX 3060笔记本GPU上DINOv2主干1.7 fps (换成EfficientNet-B0时20 fps);部署计算设备未注明

推理显存

未公开

权重 bf16（计算）

0.4 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 仅模仿学习（网络视频 + DPVO轨迹标签）

底盘控制

四足 (航点 → 跟踪控制器) · 策略输出5个航点 → 改造ViNT PD控制器转换为Go1速度指令

备注

核心特点

为数千小时YouTube城市步行·驾驶视频用DPVO视觉里程计标注轨迹，模仿学习以GPS目标为条件的城市导航策略。训练数据超过1,000小时时，仅零样本即优于微调后的ViNT；经6小时遥操作微调后，Go1真实环境成功率达77.3%(微调ViNT为57.1%)。

备注

驾驶视频占比·视频数量未注明。部署时计算设备未注明(速度在RTX 3060笔记本上测得)。预训练模型在GitHub releases公开。CVPR 2025。

核验

已确认