FutureNav

Tsinghua University·Pengcheng Laboratory·HKUST (Guangzhou)·Xiaomi EV·National University of Singapore · 2026-06

VLA내비게이션4B·8B이산 토큰

VLM 은닉 상태 위에서 행동 예측과 역·순동역학, 미래 공간 상태 생성을 함께 학습하는 world-action 모델링을 VLN에 도입하고 추론에는 정책 헤드만 써 속도를 유지한다.

논문

분류: 내비게이션
유형: VLA
발표: 2026-06
기관: Tsinghua University·Pengcheng Laboratory·HKUST (Guangzhou)·Xiaomi EV·National University of Singapore
가중치 공개: 일부
파라미터: 4B·8B (Qwen3-VL-4B·8B 백본 기준; HF FutureNav-4B-Base는 VGGT·헤드 포함 총 5.48B, 8B 총량 미공개)

백본 LLM: Qwen3-VL-4B / 8B
비전 인코더: Qwen3-VL 비전 인코더(동결) + VGGT 공간 인코더(동결)
액션 헤드: 이산 텍스트 행동 (STOP·MOVE_FORWARD·TURN_LEFT·TURN_RIGHT) (이산 토큰)
청크: 없음 (1스텝)
제어 주기: 미공개
구조 원문 요약: Qwen3-VL-4B/8B(비전 타워 동결) + 동결 VGGT 공간 인코더(중간층 토큰, 패치당 2048차원 → RMSNorm·2층 MLP merger, α=0.2로 시각 토큰에 가산) → LLM 은닉 상태에 4개 헤드(자기회귀 행동 정책, 역동역학 분류, 순동역학 MLP, 미래 공간 특징 생성); 추론은 정책 헤드만 사용, 이산 텍스트 행동(STOP·MOVE_FORWARD·TURN_LEFT·TURN_RIGHT) 스텝당 1개

사전학습 가속기: 미공개
사전학습 기간: 미공개
사전학습 스텝·배치: 미공개
GPU·TPU-시간: 미공개
파인튜닝: 해당 없음 (Qwen3-VL에서 단일 내비게이션 학습 단계; 가속기·시간 미공개)
데이터 종류: 시뮬레이션·합성
데이터 규모: VLN-CE 전문가 궤적 약 2.43M 샘플(R2R-CE 631K + RxR-CE 1.80M, '0K' 설정); 전체 설정은 ScaleVLN·DAgger 롤아웃 외부 데이터 10,457K(4B)/10,435K(8B) 추가
주요 데이터셋: R2R-CE; RxR-CE; ScaleVLN; DAgger 롤아웃
태스크·평가: R2R-CE val-unseen SR 65.4%·SPL 61.3·NE 4.24(4B 전체 데이터; 8B 64.3%·60.3), RxR-CE SR 60.9%·SPL 52.8·nDTW 68.0(8B SR 63.9%·SPL 54.8); 외부 데이터 없는 0K 설정 4B R2R SR 55.1%; 실로봇 Go2 제로샷(정량 수치 미보고)
로봇: Go2 사족(원격 운용, D435i RGB 카메라); 시뮬 VLN-CE 에이전트

추론 장치·속도: 실로봇은 H20 GPU 서버 원격 추론(Go2 카메라 RGB 스트리밍, 스텝당 저수준 행동 1개 반환); 지연·Hz·메모리 미공개
추론 메모리: 미공개
가중치 bf16 (계산): 16 GB
실행 위치: 원격 서버 (H20)

강화학습: 미사용 · 지도학습(교차 엔트로피·MSE); DAgger 롤아웃은 학습 데이터로만 사용
베이스 제어: 사족보행 (이산 이동 행동) · 정책이 이산 행동(정지·전진·좌/우회전)을 스텝마다 1개 출력 → 원격 서버가 Go2에 전달해 실행(저수준 제어 미기재)

핵심 특징: VLM 은닉 상태 위에서 행동 예측과 역·순동역학, 미래 공간 상태 생성을 함께 학습하는 world-action 모델링을 VLN에 도입하고 추론에는 정책 헤드만 써 속도를 유지한다. 단안 RGB·4B 백본으로 R2R-CE SR 65.4%·RxR-CE SR 60.9%를 내 7B급 JanusVLN(R2R 60.5%) 등 기존 VLN 모델을 앞섰다.
비고: 학습 하드웨어·시간·스텝·배치·lr 모두 미공개. HF llxs/FutureNav에 FutureNav-4B-Base(11.7 GB)만 공개, 8B·학습 스크립트·학습 데이터 미공개(README TODO). 실로봇은 시연만 있고 정량 결과 없음. 외부 데이터 열(10457K 등) 구성은 본문 설명 없음.
검증: 수정 반영