VLingNav

ByteDance Seed·Peking University·Zhongguancun Academy · 2026-01

VLA내비게이션7B회귀

필요할 때만 명시적 추론을 켜는 적응형 CoT와 언어 요약·핵심 시각 특징을 결합한 메모리를 갖춘 내비게이션 VLA로, 모방학습 뒤 전문가 유도 온라인 RL로 사후학습했다.

논문

백본 LLM: Qwen2-7B · LLaVA-Video-7B 구성
비전 인코더: SigLIP-400M
액션 헤드: MLP 행동 헤드 (가우시안) 웨이포인트 궤적 (x, y, θ) + 적응형 CoT 텍스트 (회귀)
청크: 미공개
제어 주기: 약 2.5 FPS (지연 300 ms 미만)
구조 원문 요약: SigLIP-400M + LLaVA-Video-7B; 적응형 CoT(<think_on>/<think_off> 지시 토큰, 평균 2.1% 스텝만 추론) + 시각 보조 언어 메모리(VLingMem, 과거 시각 토큰 유지·최신 프레임만 인코딩); 마지막 토큰 은닉상태 → MLP 행동 헤드(가우시안)가 웨이포인트 궤적(x, y, θ) 출력

사전학습 가속기: A100 128장
사전학습 기간: 미공개
사전학습 스텝·배치: 3단계: 개방형 적응형 CoT 영상 사전학습 1 에폭 → SFT 공동학습 20K 스텝·총 배치 512 → 온라인 RL
GPU·TPU-시간: 미공개
파인튜닝: 온라인 RL: 반복마다 on-policy 128 에피소드 수집 × 10회 갱신, PPO형 목적 + REINFORCE++ 이점, 전문가 유도 혼합 목적(15스텝 정체 시 전문가 개입); GPU·시간 미공개
데이터 종류: 시뮬레이션·합성 / 웹 비전-언어
데이터 규모: 총 4.5M: 내비게이션 2.9M(Nav-AdaCoT-2.9M, CoT 주석 약 472K) + 개방형 영상 1.6M
주요 데이터셋: Nav-AdaCoT-2.9M(HM3D·MP3D ObjectNav, 추적, ImageNav); LLaVA-Video-178K; Video-R1; ScanQA
태스크·평가: ObjectNav SR HM3Dv1 79.1%·HM3Dv2 83.0%·MP3D 58.9%; HM3D-OVON val-unseen SR 50.1%; EVT-Bench SR 단일 88.4%·방해 67.6%; HM3D Instance ImageNav SR 60.8%·SPL 37.4%; 실세계 Go2 가정·사무실·실외 ObjectNav·추적·ImageNav
로봇: Unitree Go2 사족 + 머리 장착 RealSense D457 (RGB 1280×800, HFOV 90°)

추론 장치·속도: 원격 서버 RTX 4090; 500프레임에서도 지연 300 ms 미만, 실효 약 2.5 FPS; 로봇은 NMPC로 궤적 추종
추론 메모리: 미공개
가중치 bf16 (계산): 14 GB
실행 위치: 원격 서버 (RTX 4090)

강화학습: 사용 (VLA RL 사후학습) · 3단계 전문가 유도 온라인 RL(시뮬 on-policy 롤아웃, PPO형 목적·REINFORCE++ 이점)
강화학습 근거: https://arxiv.org/abs/2601.08665
베이스 제어: 사족보행 (웨이포인트 → 추종 제어기) · VLA가 웨이포인트 궤적 출력 → NMPC가 선속도·각속도를 계산해 추종

핵심 특징: 필요할 때만 명시적 추론을 켜는 적응형 CoT와 언어 요약·핵심 시각 특징을 결합한 메모리를 갖춘 내비게이션 VLA로, 모방학습 뒤 전문가 유도 온라인 RL로 사후학습했다. HM3Dv2 ObjectNav SR 83.0%와 EVT-Bench·Instance ImageNav 최고 수준을 보고하고 Unitree Go2에 제로샷 이전했다.
비고: 추가 모델: 2026년 ByteDance Seed의 내비게이션 VLA로 적응형 CoT·언어 메모리·온라인 RL 사후학습을 결합해 ObjectNav·추적·ImageNav 최고 수준을 보고해 포함; LLaVA-Video-7B 내장 LLM 명칭은 논문 미기재(StreamVLN 논문은 Qwen2-7B로 기재); 웨이포인트 개수 n 미기재; 학습 기간 미공개; 가중치·코드 미공개(프로젝트 페이지만); VLN-CE 결과 없음.
검증: 확인