CityWalker

New York University · 2024-11

VA내비게이션214M회귀

수천 시간의 YouTube 도시 보행·주행 영상에 DPVO 시각 주행거리계로 궤적 라벨을 붙여 GPS 목표 조건 도시 내비게이션 정책을 모방학습한다.

논문

백본 LLM: 없음
비전 인코더: DINOv2 ViT-B/14 (고정)
액션 헤드: 웨이포인트 5개 회귀 + 도착 예측 헤드 (회귀)
청크: 웨이포인트 5개
제어 주기: 미공개 (RTX 3060 노트북 1.7 fps)
구조 원문 요약: 고정 DINOv2 ViT-B/14로 과거 5프레임 인코딩 + 목표 좌표 Fourier 특징 임베딩 → 트랜스포머 16층·8헤드(768차원) → 행동 헤드: 유클리드 웨이포인트 5개 + 도착 예측 헤드; ViNT PD 제어기를 개조해 속도 명령

사전학습 가속기: H100 2장
사전학습 기간: 30시간
사전학습 스텝·배치: 10 에폭 · 배치 32
GPU·TPU-시간: 60 (환산 · H100 2장 × 30시간)
파인튜닝: Go1 텔레옵 6시간 데이터로 미세조정, lr 5e-5; GPU·시간 미공개
데이터 종류: 웹 영상 / 실로봇 텔레옵
데이터 규모: YouTube 보행·주행 영상 총 2,522시간 중 2,000시간 학습; Go1 텔레옵 15시간(미세조정 6h·평가 9h)
주요 데이터셋: CityWalk YouTube 보행·주행 플레이리스트(DPVO 라벨); 자체 Go1 텔레옵 데이터(HF ai4ce/CityWalker)
태스크·평가: 오프라인 도시 벤치 평균(미세조정): MAOE 15.2°·도착률 81.8% (ViNT 16.5°·70.5%, GNM 16.2°·68.6%, NoMaD 19.1°·68.6%); 실환경 Go1 성공률 77.3% (미세조정 ViNT 57.1%, 제로샷 NoMaD 42.9%, 제로샷 ViNT 37.7%)
로봇: Unitree Go1 사족 (Livox Mid-360 LiDAR·웹캠)

추론 장치·속도: RTX 3060 노트북 GPU에서 DINOv2 백본 1.7 fps (EfficientNet-B0 교체 시 20 fps); 배포 연산 장치 미기재
추론 메모리: 미공개
가중치 bf16 (계산): 0.4 GB
실행 위치: 미공개

강화학습: 미사용 · 모방학습만 (웹 영상 + DPVO 궤적 라벨)
베이스 제어: 사족보행 (웨이포인트 → 추종 제어기) · 정책이 웨이포인트 5개 출력 → ViNT PD 제어기를 개조해 Go1 속도 명령으로 변환

핵심 특징: 수천 시간의 YouTube 도시 보행·주행 영상에 DPVO 시각 주행거리계로 궤적 라벨을 붙여 GPS 목표 조건 도시 내비게이션 정책을 모방학습한다. 1,000시간 이상 학습 시 제로샷만으로 미세조정 ViNT보다 높은 성능을 냈고 6시간 텔레옵 미세조정 후 Go1 실환경 성공률 77.3%(미세조정 ViNT 57.1%)를 기록했다.
비고: 주행 영상 비중·영상 수 미기재. 배포 시 연산 장치 미기재(속도는 RTX 3060 노트북 측정). 사전학습 모델 GitHub releases 공개. CVPR 2025.
검증: 확인