NaVid

Peking University·BAAI·CASIA·University of Adelaide·Australian National University·Galbot · 2024-02

VLA내비게이션7B이산 토큰

단안 RGB 영상 이력과 언어 지시만으로 다음 행동을 언어로 출력하는 영상 VLM 기반 VLN 에이전트로, 지도·오도메트리·깊이 없이 연속 환경(VLN-CE)에서 동작한다.

논문

분류: 내비게이션
유형: VLA
발표: 2024-02
기관: Peking University·BAAI·CASIA·University of Adelaide·Australian National University·Galbot
가중치 공개: 예
파라미터: 7B (Vicuna-7B 기반; 전체 수치 미기재)

백본 LLM: Vicuna-7B · LLaMA-VID 구성
비전 인코더: EVA-CLIP (EVA-ViT-G 가중치)
액션 헤드: 다음 행동 텍스트 (FORWARD+거리 · TURN+각도 · STOP, 정규식 파싱) (이산 토큰)
청크: 없음 (1스텝)
제어 주기: 행동당 1.2–1.5초
구조 원문 요약: EVA-CLIP 비전 인코더 + 지시 질의 토큰·지시 무관 토큰(현재 프레임 64개, 과거 프레임당 4개) + Vicuna-7B (LLaMA-VID 기반); 다음 1개 행동을 텍스트로 출력(FORWARD+이동 거리, TURN-LEFT/RIGHT+회전 각도, STOP), 정규식 파서로 추출; 단안 RGB 영상만 입력, 행동당 1.2–1.5초

사전학습 가속기: A100 24장 (LLaMA-VID 가중치에서 NaVid 학습)
사전학습 기간: 약 28시간
사전학습 스텝·배치: 1 에폭 (배치 미공개)
GPU·TPU-시간: 672 (명시 · A100-시간 ("totaling 672 GPU hours"))
파인튜닝: 해당 없음 (내비게이션·웹 데이터 단일 공동학습 단계)
데이터 종류: 시뮬레이션·합성 / 웹 비전-언어
데이터 규모: 내비게이션 510k 샘플(MP3D 61개 장면 오라클 스텝 320k + 비오라클 180k + 지시 추론 보조 10k 궤적) + 웹 데이터 763k(영상 캡션 등)
주요 데이터셋: VLN-CE R2R (MP3D 61개 장면); 웹 영상-캡션 데이터 763k (세부 출처 미기재)
태스크·평가: R2R-CE val-unseen SR 37.4%·SPL 35.9%·NE 5.47; RxR-CE 교차 데이터셋(R2R 학습) SR 23.8%·SPL 21.2%; 실내 4개 장면(Meeting room·Office·Lab·Lounge) 단순·복합 지시 총 200건 실로봇 시험
로봇: TurtleBot 4 바퀴형 + Azure Kinect DK (모델은 RGB만 사용; LiDAR·Nav2는 오도메트리 필요한 기준 모델용)

추론 장치·속도: 원격 서버 A100 1장에서 실행, 로봇은 압축 이미지 전송·파싱된 명령 수신; 행동당 약 1.2–1.5초; 메모리 미공개
추론 메모리: 미공개
가중치 bf16 (계산): 14 GB
실행 위치: 원격 서버 (A100)

강화학습: 미사용 · 모방학습(SFT)만; 비오라클 궤적 데이터 수집 포함
베이스 제어: 바퀴형 (이산 이동 행동) · VLM이 이산 행동(전진 거리·회전 각도·정지)을 텍스트로 출력 → 로봇이 명령을 실행하며 회전·전진 추종 확인

핵심 특징: 단안 RGB 영상 이력과 언어 지시만으로 다음 행동을 언어로 출력하는 영상 VLM 기반 VLN 에이전트로, 지도·오도메트리·깊이 없이 연속 환경(VLN-CE)에서 동작한다. 시뮬 510k 샘플과 웹 데이터 763k로 공동학습해 R2R-CE SR 37.4%와 실내 200개 지시 실로봇 시험에서 sim-to-real 일반화를 보였다.
비고: README 공개 체크포인트(HF Jzzhang/NaVid, CC BY-NC 4.0)는 R2R·RxR 학습 분할로 Uni-NaVid 학습 전략에 따라 재학습한 버전으로 R2R val SR 41.9%·RxR val SR 45.7%(README 표)이며 논문 수치와 다름; 평가 코드 공개; 사전학습 칸은 LLaMA-VID 초기화 후 NaVid 학습 단계(LLaMA·텍스트 인코더만 학습) 기준; 배치·학습률 미공개; RSS 2024. 기반: LLaMA-VID: An Image is Worth 2 Tokens in Large Language Models (arXiv 2311.17043) — 논문이 영상 VLM LLaMA-VID 위에 구축했다고 명시
검증: 확인