CityWalker

New York University · 2024-11

VAナビゲーション214M回帰

数千時間のYouTubeの都市歩行・走行動画にDPVO視覚オドメトリで軌跡ラベルを付け、GPS目標条件付きの都市ナビゲーション方策を模倣学習する。

論文

バックボーンLLM: なし
ビジョンエンコーダ: DINOv2 ViT-B/14 (固定)
アクションヘッド: ウェイポイント5個の回帰 + 到着予測ヘッド (回帰)
チャンク: ウェイポイント5個
制御周期: 非公開 (RTX 3060ノートPC 1.7 fps)
構造の原文要約: 固定DINOv2 ViT-B/14で過去5フレームをエンコード + 目標座標のFourier特徴埋め込み → Transformer 16層・8ヘッド(768次元) → 行動ヘッド: ユークリッドウェイポイント5個 + 到着予測ヘッド; ViNT PD制御器を改造して速度指令

事前学習アクセラレータ: H100 2枚
事前学習期間: 30時間
事前学習ステップ・バッチ: 10エポック · バッチ32
GPU・TPU時間: 60 (換算 · H100 2枚 × 30時間)
ファインチューニング: Go1テレオペレーション6時間のデータでファインチューニング、lr 5e-5; GPU・時間は非公開
データ種類: Web動画 / 実ロボットのテレオペレーション
データ規模: YouTubeの歩行・走行動画計2,522時間のうち2,000時間を学習; Go1テレオペレーション15時間(ファインチューニング6h・評価9h)
主要データセット: CityWalk YouTube歩行・走行プレイリスト(DPVOラベル); 自社Go1テレオペレーションデータ(HF ai4ce/CityWalker)
タスク・評価: オフライン都市ベンチ平均(ファインチューニング): MAOE 15.2°・到着率81.8% (ViNT 16.5°・70.5%、GNM 16.2°・68.6%、NoMaD 19.1°・68.6%); 実環境Go1成功率77.3% (ファインチューニングViNT 57.1%、ゼロショットNoMaD 42.9%、ゼロショットViNT 37.7%)
ロボット: Unitree Go1四足 (Livox Mid-360 LiDAR・Webカメラ)

推論デバイス・速度: RTX 3060ノートPC GPUでDINOv2バックボーン1.7 fps (EfficientNet-B0に置換時20 fps); 配備の演算装置は記載なし
推論メモリ: 非公開
重み bf16(計算): 0.4 GB
実行場所: 非公開

主な特徴: 数千時間のYouTubeの都市歩行・走行動画にDPVO視覚オドメトリで軌跡ラベルを付け、GPS目標条件付きの都市ナビゲーション方策を模倣学習する。1,000時間以上の学習ではゼロショットのみでファインチューニングしたViNTより高い性能を示し、6時間のテレオペレーションでファインチューニングした後、Go1の実環境成功率77.3%(ファインチューニングしたViNT 57.1%)を記録した。
備考: 走行動画の比率・動画数は記載なし。デプロイ時の演算装置は記載なし(速度はRTX 3060ノートPCで測定)。事前学習モデルをGitHub releasesで公開。CVPR 2025。
検証: 確認