GNM

UC Berkeley·Toyota Motor North America · 2022-10

VA내비게이션8.7M회귀

6종 로봇에서 모은 이질적 주행 데이터를 정규화 행동 공간과 시간 컨텍스트로 통합해 하나의 이미지 목표 조건 내비게이션 정책을 학습한다.

논문

백본 LLM: 없음
비전 인코더: MobileNetV2 ×2 (관측 컨텍스트 / 관측+목표)
액션 헤드: 웨이포인트 5개(x, y, yaw) 회귀 + 시간적 거리 헤드 (회귀)
청크: 웨이포인트 5개
제어 주기: 4 Hz (배포 설정; 논문 미기재)
구조 원문 요약: MobileNetV2 인코더 2개(과거 5프레임 스택 관측 / 관측+목표 이미지) → 임베딩 연결·FC 3층 → 헤드 2개: 정규화 상대 웨이포인트 5개(x, y, yaw 변화) 회귀 + 목표까지 시간적 거리; 85×64 RGB; 로봇별 저수준 제어기가 추종

사전학습 가속기: 멀티 GPU (종류·수 미공개)
사전학습 기간: 미공개
사전학습 스텝·배치: 배치 400–1200 (논문); 공개 gnm_large 설정 30 에폭 · 배치 400
GPU·TPU-시간: 미공개
파인튜닝: 해당 없음 (로봇별 미세조정 없이 배포)
데이터 종류: 실로봇 텔레옵 / 실로봇 자율 주행 로그
데이터 규모: 60시간 이상(초록·본문)/70시간(표 I); 6개 로봇 플랫폼; 데이터셋 8개(본문)/9개(표 I)
주요 데이터셋: GoStanford; RECON; CoryHall; Berkeley; SCAND; Seattle; TartanDrive; NeBula
태스크·평가: 실로봇 이미지 목표 내비 성공률(GNM-Mid): LoCoBot 0.96·Tello 0.99·Vizbot 0.93·Jackal 0.94 (단일 데이터셋 GS 0.26·0.21·0.51·0.31, RECON 0.62·0.79·0.26·0.68); 위상 그래프 기반 장거리 내비
로봇: 평가: LoCoBot·Vizbot·Clearpath Jackal 바퀴형, DJI Tello 쿼드로터(지상 1m 수평면 제한, 비행 데이터 학습 없음); 학습 데이터: 6종 로봇 플랫폼

강화학습: 미사용 · 지도 모방학습만 (행동·거리 두 헤드 공동 지도학습)
베이스 제어: 바퀴형·비행 (웨이포인트 → 추종 제어기) · 정책이 정규화 상대 웨이포인트 5개 출력 → 로봇별 저수준 제어기(PID·MPPI 등)가 추종; Tello 드론은 지상 1m 수평면으로 제한

핵심 특징: 6종 로봇에서 모은 이질적 주행 데이터를 정규화 행동 공간과 시간 컨텍스트로 통합해 하나의 이미지 목표 조건 내비게이션 정책을 학습한다. 학습에 없던 Tello 쿼드로터를 포함한 4개 로봇을 로봇별 미세조정 없이 구동했고 단일 데이터셋 정책보다 일부 경우 최대 5배 높은 성능을 보였다.
비고: 데이터 시간 본문 60h·표 I 70h 불일치, 데이터셋 수도 8/9개로 상이. 파라미터 수는 GNM 논문에 없고 같은 연구진의 ViNT 논문 부록에 8.7M으로 기재. Small/Mid/Large는 사용 데이터셋 2/4/6개 차이이며 모델 크기 차이가 아님. 체크포인트 Google Drive 공개, 코드는 visualnav-transformer로 통합(README는 LoCoBot+Jetson Orin Nano 배포 예시). ICRA 2023.
검증: 확인