NWM

NWM (Navigation World Models)

Meta FAIR·New York University·UC Berkeley · 2024-12

기타내비게이션1B영상 world model

로봇 주행 영상과 행동으로 1B 조건부 확산 트랜스포머(CDiT) world model을 학습해 행동 시퀀스의 미래 영상을 상상하고 목표 이미지와의 유사도로 궤적을 계획·평가한다.

논문

백본 LLM: 없음
비전 인코더: Stable Diffusion VAE (잠재 인코딩)
액션 헤드: CEM 계획 / NoMaD 샘플 랭킹 (목표 유사도 에너지) (영상 world model)
청크: 8스텝 행동 시퀀스 (CEM)
제어 주기: 미공개 (증류 시 궤적당 0.4초)
구조 원문 요약: Stable Diffusion VAE 잠재 + CDiT-XL(1B): 과거 4프레임 컨텍스트, 행동(이동·yaw)·시간 이동 k·확산 스텝 임베딩 합을 AdaLN 조건으로 미래 프레임 생성(디노이징 250스텝, 증류 시 6); 계획: CEM으로 8스텝 행동 시퀀스 최적화(후보 N=120) 또는 NoMaD 샘플 랭킹

사전학습 가속기: H100 64장 (8노드 × 8)
사전학습 기간: 미공개
사전학습 스텝·배치: 100k 스텝 (HF 카드; Ego4D 포함판 200k) · 최종 배치 4,096 (1,024 × 목표 4개)
GPU·TPU-시간: 미공개
파인튜닝: 해당 없음
데이터 종류: 실로봇 텔레옵 / 실로봇 자율 주행 로그 / 사람 영상
데이터 규모: SCAND 8.7h·TartanDrive 5h·RECON 40h·HuRoN 75h 이상 + Ego4D 영상 1,619개·908h 이상(행동 라벨 없음)
주요 데이터셋: SCAND; TartanDrive; RECON; HuRoN(SACSoN); Ego4D(무라벨); 평가 GO Stanford(미지 환경)
태스크·평가: RECON 계획 ATE 1.13·RPE 0.35 (NoMaD 1.93·0.52); NoMaD 샘플 ×32 랭킹 ATE 1.78·RPE 0.48 (×16 1.83·0.50); 단일 스텝·궤적 영상 예측(LPIPS·DreamSim·FID) 평가
로봇: 실로봇 배포 없음 (오프라인 평가); 학습 데이터는 여러 로봇의 주행 영상

추론 장치·속도: RTX 6000 Ada에서 궤적 1개 시뮬레이션 30.3초 → Time Skip 14.7초 → 증류(250→6 디노이징) 0.4초; 4-bit 양자화 0.1초는 추정치; 2–10 Hz 실시간 적용 가능 주장
추론 메모리: 미공개
가중치 bf16 (계산): 2 GB
실행 위치: 미공개

강화학습: 미사용 · 확산 world model 지도학습 + CEM 계획 (RL 미사용)
베이스 제어: 시뮬 전용 (계획·최적화로 이동 결정) · 실로봇 구동 없음: 기록된 주행 데이터에서 world model로 (이동·yaw) 행동 시퀀스를 CEM 계획하거나 NoMaD 샘플을 순위화해 오프라인 평가

핵심 특징: 로봇 주행 영상과 행동으로 1B 조건부 확산 트랜스포머(CDiT) world model을 학습해 행동 시퀀스의 미래 영상을 상상하고 목표 이미지와의 유사도로 궤적을 계획·평가한다. RECON에서 단독 계획 ATE 1.13·RPE 0.35로 NoMaD(1.93·0.52)보다 정확했고 라벨 없는 Ego4D 영상 추가로 미지 환경 예측을 개선했다.
비고: 학습 기간 미공개. HF 공개 모델은 얼굴 블러 데이터로 재학습돼 논문 수치와 다를 수 있음(게이트, CC BY-NC 4.0). 실로봇 구동 없이 오프라인 계획 평가만 수행. 총 데이터 시간 미기재. CVPR 2025 Oral.
검증: 확인