NoMaD

UC Berkeley · 2023-10

VA내비게이션19Mdiffusion

목표 이미지를 확률적으로 가리는 목표 마스킹으로 목표 지향 내비게이션과 무목표 탐색을 하나의 확산 정책에서 처리한다.

논문

백본 LLM: 없음
비전 인코더: EfficientNet-B0 (관측 / 관측+목표)
액션 헤드: 1D 조건부 U-Net 확산 헤드 (K=10) + 시간적 거리 헤드 (diffusion)
청크: 웨이포인트 8개 (공개 설정)
제어 주기: 미공개 (배포 설정 4 Hz)
구조 원문 요약: EfficientNet-B0로 관측·목표를 256차원 토큰화 → 트랜스포머 4층·4헤드(목표 마스킹 p_m=0.5) → 1D 조건부 U-Net 확산 헤드(K=10 디노이징)로 미래 행동 시퀀스 생성(공개 설정 웨이포인트 8개) + 시간적 거리 헤드; PD 제어기가 속도로 변환

사전학습 가속기: 미공개 (감사의 글에 Google TPU Research Cloud 등 컴퓨팅 지원만 언급)
사전학습 기간: 미공개
사전학습 스텝·배치: 30 에폭 · 배치 256 (공개 nomad.yaml은 100 에폭)
GPU·TPU-시간: 미공개
파인튜닝: 해당 없음
데이터 종류: 실로봇 텔레옵 / 실로봇 자율 주행 로그
데이터 규모: GNM·SACSoN 데이터셋 100시간 이상
주요 데이터셋: GNM 데이터 혼합(RECON, GoStanford, SCAND, TartanDrive 등); SACSoN(HuRoN)
태스크·평가: 실환경 탐색 성공률 98%·충돌 0.2회 (Subgoal Diffusion 77%·1.7회, Random Subgoals 70%); 목표 조건 내비 90%; 전용 정책 대비 탐색 98%(Diffusion Policy 98%)·목표 92%(ViNT 92%)
로봇: LoCoBot 바퀴형 (실내·실외 환경)

추론 장치·속도: Jetson Orin급 온보드 실행 지향 (논문); README 배포 예시 LoCoBot + Jetson Orin Nano; 확산 10스텝; 지연 미공개 (배포 루프 4 Hz 설정)
추론 메모리: 미공개
가중치 bf16 (계산): 0 GB
실행 위치: 온보드 Jetson Orin급 (README: Orin Nano)

강화학습: 미사용 · 종단간 지도 모방학습만
베이스 제어: 바퀴형 (웨이포인트 → 추종 제어기) · 확산 정책이 웨이포인트 시퀀스 출력 → PD 제어기가 베이스 속도 명령으로 변환 (README)

핵심 특징: 목표 이미지를 확률적으로 가리는 목표 마스킹으로 목표 지향 내비게이션과 무목표 탐색을 하나의 확산 정책에서 처리한다. 19M 파라미터로 335M subgoal 확산 방식보다 탐색 성공률(98% 대 77%)과 충돌(0.2회 대 1.7회)을 개선했다.
비고: 논문에 행동 시퀀스 길이·컨텍스트·해상도 미기재 → 공개 nomad.yaml 기준 웨이포인트 8개·컨텍스트 3·96×96. 학습 GPU·시간 미공개. ViNT 정책 구조에 목표 마스킹을 결합. 가중치 Google Drive 공개. ICRA 2024. 기반: ViNT: A Foundation Model for Visual Navigation (arXiv 2306.14846) — ViNT 정책 구조에 목표 마스킹·확산 헤드를 결합 (논문 명시)
검증: 확인