NavDP

Shanghai AI Laboratory·Tsinghua University·Zhejiang University·The University of Hong Kong · 2025-05

VA내비게이션미공개diffusion

시뮬레이션 데이터만으로 RGB-D 관측에서 궤적 생성(diffusion)과 궤적 평가(critic)를 한 트랜스포머로 함께 학습하며, critic은 시뮬 특권 정보(전역 ESDF)로 만든 대조 음성 궤적으로 학습한다.

논문

분류: 내비게이션
유형: VA
발표: 2025-05
기관: Shanghai AI Laboratory·Tsinghua University·Zhejiang University·The University of Hong Kong
가중치 공개: 예
파라미터: 미공개

백본 LLM: 없음
비전 인코더: DepthAnything ViT (RGB, 사전학습) + 스크래치 ViT (깊이)
액션 헤드: 웨이포인트 diffusion 헤드 (조건부 U-Net·DDPM) + critic 선택 (diffusion)
청크: 웨이포인트 24개
제어 주기: >10 Hz
구조 원문 요약: RGB는 사전학습 DepthAnything ViT, 깊이는 스크래치 ViT로 인코딩 → 트랜스포머 디코더가 RGB-D 512토큰을 16개 융합 토큰으로 압축 → 2층 트랜스포머 인코더(정책·critic 공유) → 조건부 U-Net·DDPM diffusion 헤드가 24스텝 웨이포인트(Δx,Δy,Δω) 배치 생성, critic(궤적은 1D conv 인코딩)이 점수화해 최선 궤적 선택; 궤적 중간점×비례계수로 선속도·각속도 산출, >10 Hz

사전학습 가속기: 미공개
사전학습 기간: 미공개
사전학습 스텝·배치: 미공개
GPU·TPU-시간: 미공개
파인튜닝: real-to-sim 데이터(3DGS 실험실 재구성, 약 4k 궤적) 추가 학습: 방식·가속기·시간 미공개
데이터 종류: 시뮬레이션·합성
데이터 규모: 궤적 56,000개 이상·RGB-D 이미지 1,000만 장·363.2 km·1,244개 장면(본문; arXiv 초록 메타데이터는 '100만 m 이상·3,000개 장면'); GPU당 하루 약 2,500 궤적 생성; real-to-sim 약 4k 궤적
주요 데이터셋: 자체 시뮬 생성 데이터(3D-Front 1,176개·Matterport3D 68개 장면); 3DGS 실험실 재구성(real-to-sim)
태스크·평가: 자체 IsaacSim 벤치(Dingo·Go2·R1) PointNav 시뮬 SR 81.3/83.0/75.0%, 시뮬·real-to-sim 6개 설정 평균 mSR 70.4·mSPL 58.6(ViPlanner 65.6·55.4); 무목표 탐색·ImageNav; 실로봇 제로샷, in-domain real-to-sim 데이터 추가 시 실환경 성공률 50%→80%; 시뮬 무목표 탐색 면적 Dingo 280.2·Go2 359.1·R1 300.4 (NoMaD 119.2·36.9·57.9, ViNT 38.4·37.7·61.3)
로봇: 실로봇 Unitree Go2 사족, Galaxea R1, Unitree G1 휴머노이드; 시뮬 ClearPath Dingo(2륜 차동)·Go2·R1

추론 장치·속도: GeForce RTX 5080 노트북 GPU에서 >10 Hz 실시간 추론; 로봇 최대 2.0 m/s; 지연(ms)·메모리 미공개
추론 메모리: 미공개
가중치 bf16 (계산): 미공개
실행 위치: RTX 5080 노트북 GPU

강화학습: 일부 (RL 하위 제어기 결합) · NavDP 자체는 모방학습(diffusion) + 시뮬 특권 정보(전역 ESDF) 기반 critic 지도학습; 시뮬 Go2 사족은 RL로 학습된 보행 정책이 궤적을 추종
강화학습 근거: https://arxiv.org/html/2505.08712v3
베이스 제어: 바퀴형·사족보행·휴머노이드 보행 (웨이포인트 → 추종 제어기) · 정책이 24스텝 웨이포인트 출력 → 궤적 중간점×비례계수로 선속도·각속도 변환해 베이스 명령

핵심 특징: 시뮬레이션 데이터만으로 RGB-D 관측에서 궤적 생성(diffusion)과 궤적 평가(critic)를 한 트랜스포머로 함께 학습하며, critic은 시뮬 특권 정보(전역 ESDF)로 만든 대조 음성 궤적으로 학습한다. 실로봇 데이터 없이 사족·바퀴형·휴머노이드에 제로샷 이전되고, Gaussian Splatting real-to-sim 데이터(약 4k 궤적)를 더하면 실환경 성공률이 50%에서 80%로 오른다.
비고: 학습 GPU·시간·스텝·배치·파라미터 수 모두 미공개(본문·부록). 데이터 규모 상충: 본문·PDF·HF 초록은 363.2 km·1,244개 장면, 현재 arXiv 초록 메타데이터는 '100만 m 이상·3,000개 장면'. 체크포인트는 Google Form 신청 후 제공(README상 InternVLA-N1 System-1 모델), 코드 CC BY-NC-SA 4.0. RL 사후학습판 X-NavDP(2607.28560)는 별도 논문.
검증: 수정 반영