Uni-NaVid

Peking University·Galbot·BAAI · 2024-12

VLA내비게이션7B이산 토큰

VLN·ObjectNav·EQA·사람 추종 4개 내비게이션 과제의 입출력 형식을 통일해 하나의 영상 VLA로 학습하고, 온라인 토큰 병합과 4스텝 행동 예측으로 약 5 Hz 비차단 실배포를 구현했다.

논문

백본 LLM: Vicuna-7B
비전 인코더: EVA-CLIP
액션 헤드: 이산 행동 토큰 4개 (전진 25 cm · 좌우 회전 30° · 정지) 또는 텍스트 답변 (이산 토큰)
청크: 행동 4개
제어 주기: 약 5 Hz (추론 0.2초)
구조 원문 요약: EVA-CLIP + 2층 MLP 프로젝터 + Vicuna-7B (LLaMA-VID·NaVid 계열); 온라인 시각 토큰 병합(현재 64개·단기 메모리 4개·장기 메모리 1개/프레임 그룹); 다음 4개 이산 행동 토큰(FORWARD 25 cm·TURN-LEFT/RIGHT 30°·STOP) 또는 텍스트 답변(EQA); 원격 A100에서 약 5 Hz

사전학습 가속기: H800 40장
사전학습 기간: 약 35시간
사전학습 스텝·배치: 1 에폭 (배치 미공개)
GPU·TPU-시간: 1,400 (명시 · H800-시간 ("totaling 1400 GPU hours"))
파인튜닝: 해당 없음 (2단계 학습: 1단계 프로젝터만 정렬 학습·2단계 내비·영상 QA 공동학습; README는 Uni-NaVid 기반 추가 미세조정 스크립트 제공)
데이터 종류: 시뮬레이션·합성 / 웹 비전-언어
데이터 규모: 내비게이션 3.6M 샘플(VLN 2.4M, ObjectNav 483k, EQA 영상-행동 240k + 영상-답변 10k, 사람 추종 544k) + 영상 QA 2.3M
주요 데이터셋: VLN-CE R2R·RxR; HM3D ObjectNav; MP3D-EQA; Habitat 3.0 사람 추종(자체 수집); 공개 영상 QA 2.3M
태스크·평가: R2R-CE val-unseen SR 47.0%·SPL 42.7%; RxR-CE SR 48.7%·SPL 40.9%; HM3D ObjectNav SR 73.7%·SPL 37.1%; MP3D-EQA ACC 47.3%(GT 궤적 시 54.4%); 사람 추종(Habitat 3.0 자체 벤치) SR 61.21%; 실세계 복합 지시 시연
로봇: Unitree Go2 사족 + 머리 장착 RealSense D455 (모델 입력은 단안 RGB; 내장 LiDAR-L1은 국소 모션 계획 전용)

추론 장치·속도: 원격 서버 A100 1장에서 추론 약 0.2초(약 5 Hz) + 인터넷 통신(이미지 전송·명령 수신) 약 0.3초; README는 양자화 시 추가 가속 가능하다고 언급; 메모리 미공개
추론 메모리: 미공개
가중치 bf16 (계산): 14 GB
실행 위치: 원격 서버 (A100)

강화학습: 미사용 · 모방학습(SFT)만
베이스 제어: 사족보행 (이산 이동 행동) · VLA가 이산 행동 4개(전진 25 cm·회전 30°·정지)를 출력 → 로봇이 비차단 방식으로 순차 실행 (LiDAR는 국소 모션 계획용)

핵심 특징: VLN·ObjectNav·EQA·사람 추종 4개 내비게이션 과제의 입출력 형식을 통일해 하나의 영상 VLA로 학습하고, 온라인 토큰 병합과 4스텝 행동 예측으로 약 5 Hz 비차단 실배포를 구현했다. 3.6M 내비게이션 샘플의 과제 간 시너지로 R2R-CE SR 47.0%, HM3D ObjectNav SR 73.7% 등 여러 벤치마크에서 당시 최고 수준을 보고했다.
비고: 공개 가중치(HF Jzzhang/Uni-NaVid, uninavid-7b-full-224-video-fps-1-grid-2)는 라이선스 문제로 일부 기능을 재작성한 오픈소스 버전이며 ObjectNav용 L3MVN 데이터 미사용; README 표 R2R val SR 51.8%·RxR val SR 56.1%는 논문 수치와 다름; 학습·평가 코드 공개; 배치·학습률 미공개; RSS 2025. 기반: NaVid: Video-based VLM Plans the Next Step for Vision-and-Language Navigation (arXiv 2402.15852) — README: 코드가 LLaMA-VID·NaVid 기반
검증: 수정 반영