NavFoM

Peking University·Galbot·USTC·BAAI·University of Adelaide·Zhejiang University·Differential Robotics · 2025-09

VLA내비게이션7B회귀

사족·드론·바퀴형·차량 등 여러 엠바디먼트와 VLN·물체 탐색·추적·자율주행 과제를 하나의 모델로 학습한 내비게이션 기반 모델로, 시점·시간 지시 토큰과 토큰 예산 기반 이력 샘플링을 도입했다.

논문

분류: 내비게이션
유형: VLA
발표: 2025-09
기관: Peking University·Galbot·USTC·BAAI·University of Adelaide·Zhejiang University·Differential Robotics
가중치 공개: 아니오
파라미터: 7B (Qwen2-7B 기반; 전체 수치 미기재)

백본 LLM: Qwen2-7B
비전 인코더: DINOv2 + SigLIP
액션 헤드: 3층 MLP 계획 헤드: 웨이포인트 8개 (x, y, z, θ) + 언어 헤드(QA) (회귀)
청크: 웨이포인트 8개
제어 주기: 궤적당 최대 0.5초 (1,600토큰 예산)
구조 원문 요약: DINOv2 + SigLIP 이중 비전 인코더(조립·세밀 토큰, 프레임당 576 패치) + 2층 MLP 프로젝터 + Qwen2-7B; 시점·시간 지시(TVI) 토큰과 토큰 예산 기반 시간 샘플링(BATS, 예산 1,600–2,048); 3층 MLP 계획 헤드가 웨이포인트 8개(x, y, z, θ) 회귀, QA는 언어 헤드; 1–8개 카메라 입력

사전학습 가속기: H100 56장
사전학습 기간: 약 72시간
사전학습 스텝·배치: 1 에폭 (배치·학습률 미공개)
GPU·TPU-시간: 4,032 (명시 · H100-시간 ("a total of 4,032 GPU hours"))
파인튜닝: 해당 없음 (과제별 미세조정 없음)
데이터 종류: 시뮬레이션·합성 / 웹 영상 / 실로봇 자율 주행 로그 / 웹 비전-언어
데이터 규모: 총 12.7M 인스턴스: 내비게이션 8.02M(VLN 3.37M·ObjectNav 1.02M·능동 시각 추적 897K·자율주행 681K·웹 영상 내비 2.03M) + 이미지 QA 3.15M + 영상 QA 1.61M
주요 데이터셋: VLN-CE R2R·RxR; OpenUAV(429K); HM3D ObjectNav(L3MVN 성공 에피소드); EVT-Bench; nuScenes(27K)·OpenScene(654K) 차량 주행 데이터; Sekai(YouTube 영상 약 182K, VLM·SLAM 의사 라벨)
태스크·평가: R2R-CE SR 61.7%·SPL 55.3%(4뷰)/56.2%(단일뷰); RxR-CE SR 64.4%(4뷰)/57.4%(단일뷰); HM3D-OVON 제로샷 val-unseen SR 45.2%; EVT-Bench 단일 목표 SR 88.4%·방해 목표 62.0%; NAVSIM PDMS 84.3(8뷰); OpenUAV seen SR 29.17%; 실세계 110개 시험(VLN 50·탐색 30·추적 30)
로봇: Unitree Go2 사족(SG3S 카메라), Unitree G1 휴머노이드(RealSense D455), NCS-β 비행 로봇(RealSense D435), Galbot G1 바퀴형(SG3S 카메라); 로봇별 기성 로컬 플래너로 궤적 추종

추론 장치·속도: 원격 서버 RTX 4090(논문)/RTX 5090(프로젝트 페이지)에서 실행, 로봇은 관측 압축 전송; 1,600토큰 예산에서 8-웨이포인트 궤적 생성 최대 0.5초
추론 메모리: 약 19.1 GB (ICLR 카메라레디)
가중치 bf16 (계산): 14 GB
실행 위치: 원격 서버 (RTX 4090/5090)

강화학습: 미사용 · 모방학습(SFT)만
베이스 제어: 사족보행·휴머노이드 보행·바퀴형·비행 (웨이포인트 → 추종 제어기) · 모델이 웨이포인트 궤적 출력 → 로봇별 기성 로컬 플래너가 속도·관절 명령으로 추종 (드론 포함)

핵심 특징: 사족·드론·바퀴형·차량 등 여러 엠바디먼트와 VLN·물체 탐색·추적·자율주행 과제를 하나의 모델로 학습한 내비게이션 기반 모델로, 시점·시간 지시 토큰과 토큰 예산 기반 이력 샘플링을 도입했다. 8.02M 내비게이션 샘플로 과제별 미세조정 없이 R2R-CE(4뷰 SR 61.7%)·RxR-CE·HM3D-OVON·EVT-Bench·NAVSIM 등에서 최고 또는 경쟁 수준을 보였다.
비고: 추론 GPU가 논문(RTX 4090)과 프로젝트 페이지(RTX 5090)에서 다름; 자율주행 데이터는 실제 차량 주행 로그(nuScenes·OpenScene)이며 실로봇 수집 학습 데이터는 없음; 코드·가중치 공개 링크 없음(프로젝트 페이지 기준); ICLR 2026.
검증: 수정 반영