Qwen-RobotNav

Qwen Team · 2026-06

VLA내비게이션4B·8B회귀

과제 모드와 관측 문맥(토큰 예산·시간 감쇠·카메라 가중)을 매개변수화하고 학습 때 무작위화해, 한 모델이 VLN·물체 탐색·추적·자율주행을 상위 에이전트 플래너의 도구로 수행한다.

논문

백본 LLM: Qwen3-VL-8B (4B 변형 포함)
비전 인코더: SigLIP-2 ViT (Qwen3-VL 내장, DeepStack)
액션 헤드: 4층 MLP 웨이포인트 회귀 (hidden 512) (회귀)
청크: 웨이포인트 8개
제어 주기: 4.9–5.1 Hz (Go2 실배치)
구조 원문 요약: Qwen3-VL(4B·8B; SigLIP-2 ViT·2D-RoPE 동적 해상도·DeepStack) + 4층 MLP 행동 헤드(hidden 512) → 웨이포인트 8개(x,y,θ) 연속 회귀(MSE); 과제 모드(VLN·PointNav·ObjNav·Tracking)와 시각 토큰 예산(2048–4096)·시간 감쇠·카메라 가중·프레임 샘플링을 추론 시 조정, 상위 플래너가 도구처럼 호출; 실배치 약 5 Hz

사전학습 가속기: H100 (장수 미공개)
사전학습 기간: 미공개
사전학습 스텝·배치: 8B 글로벌 배치 256, lr 2e-5(ViT·LLM)·1e-4(행동 헤드); 스텝·에폭 미공개
GPU·TPU-시간: 2,816 (명시 · H100-시간 ("a total of 2,816 H100 GPU hours", 8B 모델))
파인튜닝: 해당 없음 (Qwen3-VL에서 단일 단계 종단 학습)
데이터 종류: 시뮬레이션·합성 / 실로봇 자율 주행 로그 / 웹 비전-언어
데이터 규모: 15.6M 샘플(궤적 85%·VL 15%): 지시 추종 5.63M(R2R 1,491K·RxR 4,140K), PointNav 984K, ObjectNav 2,000K, 추적 1,486K(EVT-Bench), 자율주행 약 3.2M(nuScenes 78K·OpenScene 3,138K), 영상 생성기 데이터 40K; VL 일반 약 1.0M + 내비 추론 약 873K
주요 데이터셋: VLN-CE R2R·RxR; Matterport3D·HM3D(Habitat); EVT-Bench; nuScenes; OpenScene(NAVSIM); NavGPT-2 방식 추론 데이터; VQAv2·RefCOCO 등 일반 VL
태스크·평가: R2R-CE val-unseen SR 72.1%·SPL 66.6(8B 파노라마; 단안 8B 65.7%·4B 66.9%), RxR-CE SR 76.5%·SPL 65.7; HM3Dv2 ObjectNav SR 75.6%(4B); EVT-Bench TR 90.0%(4B); NAVSIM PDMS 91.4(4B); 에이전트 EQA HM-EQA 76.7%(Qwen3.6-Plus 플래너); 실로봇 Go2 제로샷 21.78 m 왕복 VLN
로봇: Unitree Go2 사족(내장 저해상도 카메라만 사용)

추론 장치·속도: Unitree Go2(4B 모델): 원격 서버 평균 196 ms(5.1 Hz), Jetson Thor 온디바이스(FP8·TensorRT) 204 ms(4.9 Hz)(논문); README는 Jetson Thor 온디바이스 196 ms(5.1 Hz)로 기재; 메모리 미공개
추론 메모리: 미공개
가중치 bf16 (계산): 16 GB
실행 위치: 온보드 Jetson Thor (FP8·TensorRT) 또는 원격 서버

강화학습: 미사용 · 궤적 MSE + VL 다음 토큰 지도학습(궤적:VL 85:15 공동학습)
베이스 제어: 사족보행 (웨이포인트 → 추종 제어기) · 모델이 웨이포인트 8개(x,y,θ) 출력 → Go2가 추종(저수준 제어기 미기재); 상위 플래너가 과제 모드·문맥 설정을 바꿔 호출

핵심 특징: 과제 모드와 관측 문맥(토큰 예산·시간 감쇠·카메라 가중)을 매개변수화하고 학습 때 무작위화해, 한 모델이 VLN·물체 탐색·추적·자율주행을 상위 에이전트 플래너의 도구로 수행한다. 15.6M 샘플로 학습한 8B가 R2R-CE SR 72.1%·RxR-CE SR 76.5%(파노라마)를 냈고 Go2에서 Jetson Thor 온디바이스 4.9 Hz로 제로샷 주행했다.
비고: README: 'There is currently no plan to release the model weights'. 지연 수치 상충: 논문은 원격 196 ms·온디바이스 204 ms, README는 온디바이스 196 ms. 단안 결과(R2R SR 65.7%)는 LightNav-0 비교표와 일치. '실로봇 자율 주행 로그'는 차량 주행 데이터(nuScenes·OpenScene). 초록의 2B 변형은 결과표에 없음.
검증: 확인