VLN-R1

The University of Hong Kong·Shanghai AI Laboratory · 2025-06

VLA내비게이션2B / 7B이산 토큰

범용 VLM(Qwen2-VL)을 1인칭 영상 기반 VLN에 SFT한 뒤 시간 감쇠 보상(TDR)을 쓰는 GRPO 강화 미세조정(RFT)으로 다단계 행동 예측을 개선했다.

논문

백본 LLM: Qwen2-VL-7B / 2B (내장 LLM 명칭 미기재)
비전 인코더: Qwen2-VL 내장 비전 인코더 (세부 미기재)
액션 헤드: 다음 6개 이산 행동 텍스트 (선택지 문자 + 설명) (이산 토큰)
청크: 행동 6개
제어 주기: 미공개
구조 원문 요약: Qwen2-VL-2B/7B 전체 미세조정; 1인칭 영상(인스턴스당 이미지 16장, 최대 65,536 픽셀, 약 4.1K 토큰) + 지시 입력; 다음 6개 이산 행동을 선택지 문자+설명 텍스트로 출력(FORWARD·TURN-LEFT·TURN-RIGHT·STOP, 예 'C. Turn right 30 degrees')

사전학습 가속기: A800 8장 (7B SFT, DeepSpeed ZeRO-3)
사전학습 기간: 36시간 (SFT 1 에폭)
사전학습 스텝·배치: SFT 1 에폭 · 글로벌 배치 64 (GPU당 2×누적 4, lr 5e-6)
GPU·TPU-시간: 288 (환산 · A800 8장 × 36시간 (7B SFT 1 에폭))
파인튜닝: RFT(GRPO): 에폭당 약 12시간(에폭 수 미기재), lr 1e-6, 프롬프트당 8샘플, KL β 0.04, GPU당 배치 1, 20K 샘플 (7B는 A800 8장 환경)
데이터 종류: 시뮬레이션·합성
데이터 규모: VLN-Ego: R2R 630K + RxR 1.2M 학습 샘플(SFT 1.8M); RFT는 데이터셋별 10K, 총 20K
주요 데이터셋: VLN-Ego (Habitat·MP3D에서 생성; R2R 7,189 경로·RxR 42,023 궤적 기반)
태스크·평가: R2R-CE val-unseen SR 30.2%·SPL 21.8%(7B), SR 25.6%·SPL 20.5%(2B); RxR-CE SR 22.3%(7B)·21.4%(2B); 교차 도메인(R2R SFT→RxR RFT) RxR SR 22.7%(7B)
로봇: 실로봇 없음 (Habitat 시뮬 에이전트)

강화학습: 사용 (VLA RL 사후학습) · SFT 후 GRPO 기반 RFT 단계(Time-Decayed Reward로 다단계 행동 보상)
강화학습 근거: https://arxiv.org/abs/2506.17221
베이스 제어: 시뮬 전용 (이산 이동 행동) · 실로봇 없음: Habitat VLN-CE 시뮬 에이전트가 이산 행동(전진·회전·정지) 실행

핵심 특징: 범용 VLM(Qwen2-VL)을 1인칭 영상 기반 VLN에 SFT한 뒤 시간 감쇠 보상(TDR)을 쓰는 GRPO 강화 미세조정(RFT)으로 다단계 행동 예측을 개선했다. RFT를 거친 2B 모델이 SFT만 한 7B 모델을 앞서 소형 VLM에서도 RL 사후학습 효과를 보였다.
비고: 가중치 미공개(VLN-Ego 학습 데이터·데이터 생성 코드만 공개, SFT·RFT·평가 코드 준비 중); 2B 학습 하드웨어 미기재; 표별 수치 일부 불일치(Table 1과 Table 3); 실로봇 실험 없음(한계로 명시).
검증: 확인