StreamVLN

Shanghai AI Laboratory·The University of Hong Kong·Zhejiang University·Shanghai Jiao Tong University · 2025-07

VLA내비게이션8.03B이산 토큰

연속 영상을 다중 턴 대화로 처리하며 최근 대화는 슬라이딩 윈도우 KV 캐시로 재사용하고 과거 시각 정보는 3D 복셀 기반 토큰 가지치기 메모리로 압축하는 스트리밍 VLN 모델이다.

논문

분류: 내비게이션
유형: VLA
발표: 2025-07
기관: Shanghai AI Laboratory·The University of Hong Kong·Zhejiang University·Shanghai Jiao Tong University
가중치 공개: 예
파라미터: 8.03B (HF safetensors; LLaVA-Video 7B 기반)

백본 LLM: Qwen2-7B · LLaVA-Video 7B 구성
비전 인코더: LLaVA-Video 내장 비전 인코더 (명칭 미기재)
액션 헤드: 이산 행동 텍스트 (↑ 25 cm · ←/→ 15° · STOP), 턴당 4개 (이산 토큰)
청크: 행동 4개 (코드 기본값)
제어 주기: 행동 4개당 0.27초 (RTX 4090)
구조 원문 요약: LLaVA-Video 7B (LLM Qwen2-7B) 기반 다중 턴 대화형 스트리밍; fast: 최근 N턴 슬라이딩 윈도우 KV 캐시 재사용, slow: 3D 복셀 기반 토큰 가지치기 메모리; 턴마다 이산 행동 텍스트 출력(↑ 전진 25 cm·←/→ 회전 15°·STOP, 코드 기본 4개)

사전학습 가속기: A100 (장수 미공개)
사전학습 기간: 미공개
사전학습 스텝·배치: 2단계: 오라클 VLN 궤적 1 에폭 → DAgger·VL 데이터 공동학습 1 에폭 추가; 스텝당 영상 클립 128개 (최대 lr LLM 2e-5·비전 인코더 5e-6)
GPU·TPU-시간: 1,500 (명시 · A100-시간 ("around 1500 A100 GPU hours"))
파인튜닝: 해당 없음 (실세계 배포용 체크포인트 별도 공개, 학습 연산 미공개)
데이터 종류: 시뮬레이션·합성 / 웹 비전-언어
데이터 규모: VLN 영상 클립 450K(MP3D 60개 환경, R2R·R2R-EnvDrop·RxR) + ScaleVLN 부분집합 300K(다른 절 150k) + DAgger 240K + 영상 VQA 248K + MMC4 인터리브 230K; 혼합비 VLA 67%·일반 33%
주요 데이터셋: R2R-CE; RxR-CE; R2R-EnvDrop; ScaleVLN(HM3D, VLN-CE 변환 부분집합); LLaVA-Video-178K; ScanQA·SQA3D; MMC4
태스크·평가: R2R-CE val-unseen SR 52.8%·SPL 47.2% (추가 VLN 데이터 † SR 56.4%·SPL 50.2%); RxR-CE SR 48.6%·SPL 42.5% († SR 54.4%·SPL 45.4%); 실로봇 Go2 실내·실외 단순·장기 지시 수행
로봇: Unitree Go2 사족 + RealSense D455 (모델 입력 RGB; 깊이·오도메트리는 토큰 가지치기 역투영용)

추론 장치·속도: 원격 워크스테이션 RTX 4090; 행동 4개 추론 평균 0.27초 + 통신 0.2초(실내)·1.0초(실외); Go2가 영상을 서버로 스트리밍; 메모리 미공개
추론 메모리: 미공개
가중치 bf16 (계산): 16.1 GB
실행 위치: 원격 워크스테이션 (RTX 4090)

강화학습: 미사용 · 모방학습(SFT) + DAgger 수집 데이터 공동학습
베이스 제어: 사족보행 (이산 이동 행동) · VLA가 이산 행동 열(전진 25 cm·회전 15°·정지) 출력 → 로봇 클라이언트가 ROS2로 속도 명령 발행

핵심 특징: 연속 영상을 다중 턴 대화로 처리하며 최근 대화는 슬라이딩 윈도우 KV 캐시로 재사용하고 과거 시각 정보는 3D 복셀 기반 토큰 가지치기 메모리로 압축하는 스트리밍 VLN 모델이다. 긴 영상에서도 지연을 낮게 유지하며 R2R-CE SR 56.4%(추가 VLN 데이터)를 기록하고 Unitree Go2 실로봇에서 실내·실외 지시를 수행했다.
비고: arXiv v2(2026-07) 기준; 본문 수치(R2R SR 56.9%·SPL 51.9%, RxR SR 52.9%·SPL 46.0%)와 Table I(56.4/50.2, 54.4/45.4)가 불일치; 행동 토큰 수 서술 불일치('8 action tokens' vs '0.27s for 4 actions'), 공식 코드 기본 num_future_steps=4; ScaleVLN 300K vs 150k 불일치; GPU 장수·기간 미공개; 코드·데이터·체크포인트 2종(벤치마크용·실세계용) 공개, CC BY-NC-SA 4.0. 기반: LLaVA-Video: Video Instruction Tuning With Synthetic Data (arXiv 2410.02713) — 논문·README가 LLaVA-Video 7B 위에 구축했다고 명시
검증: 확인