InternVLA-N1

Shanghai AI Laboratory (Intern Robotics) · 2025-07

VLA내비게이션8.39Bdiffusion

VLM 기반 System 2가 이미지 상 픽셀 목표·잠재 계획을 저주파로 내고 diffusion 기반 System 1이 이를 조건으로 고주파 궤적을 생성하는 비동기 이중 시스템 내비게이션 기반 모델이다.

논문

분류: 내비게이션
유형: VLA
발표: 2025-07
기관: Shanghai AI Laboratory (Intern Robotics)
가중치 공개: 예
파라미터: 8.39B (HF Preview safetensors) / 8.38B (HF DualVLN); System 2는 Qwen2.5-VL 7B

백본 LLM: Qwen2.5-VL-7B (System 2)
비전 인코더: Qwen2.5-VL 비전 인코더 (S2) + DepthAnything RGB 인코더 (S1)
액션 헤드: S2 픽셀 목표·잠재 계획 → S1 diffusion 궤적 (DualVLN 웨이포인트 32개) (diffusion)
청크: 궤적 (DualVLN 조밀 웨이포인트 32개)
제어 주기: S2 2 Hz · S1 30 Hz · 제어 200 Hz
구조 원문 요약: System 2: Qwen2.5-VL-7B가 과거·현재 RGB와 지시로 이미지 상 픽셀 목표(또는 학습형 잠재 계획 토큰)·정지·제자리 회전을 2 Hz로 출력 / System 1: NavDP계 diffusion 정책(DepthAnything RGB 인코더, critic 포함; DualVLN은 DiT 12층·hidden 384)이 단기 궤적 30 Hz 생성(DualVLN 조밀 웨이포인트 32개) → MPC 추종, 저수준 제어기 200 Hz

사전학습 가속기: 미공개
사전학습 기간: 미공개
사전학습 스텝·배치: 보고서: S2 SFT 1 에폭; DualVLN 논문: S2 14,000 스텝·배치 128(lr 2e-5), S1 15,000 스텝·배치 128(lr 1e-4)
GPU·TPU-시간: 미공개
파인튜닝: 2단계 공동 조정(S2 동결, 잠재 계획 토큰 + S1 비동기 미세조정) 연산 미공개; world model 확장(Wan2.1 1.3B) 사용 시 R2R-CE 최적 에폭 4→2
데이터 종류: 시뮬레이션·합성
데이터 규모: InternData-N1: 3,154개 장면·4,839.9 km·1,344시간·53.5M 이미지·0.8M 지시 (VLN-N1 3,000+ 장면·40M 이미지·600k 지시; VLN-CE 332,179 에피소드·856개 장면; VLN-PE 8,679 에피소드); S2 정렬 샘플 5M 이상
주요 데이터셋: InternData-N1 (VLN-N1: Replica·MP3D·Gibson·3D-Front·HSSD·HM3D; VLN-CE: R2R·RxR·EnvDrop·ScaleVLN 재생; VLN-PE: InternUtopia 물리 시뮬)
태스크·평가: 기술 보고서: R2R-CE val-unseen SR 55.4%(S2)·58.2%(S1+S2), RxR-CE SR 49.5%·53.5%; VLN-PE(H1) 제로샷에서 VLN-PE 학습 모델 대비 SR 17% 이상 향상; DualVLN: R2R-CE SR 64.3%·SPL 58.5%, RxR-CE SR 61.4%·SPL 51.8%, VLN-PE R2R unseen SR 51.6%; 실세계 사무실·식당·거리 등
로봇: Turtlebot4 바퀴형, Unitree Go2 사족, Unitree G1 휴머노이드; RealSense D455(15° 하향)

추론 장치·속도: 원격 RTX 4090 1장, GPU 메모리 약 20GB; S2 궤적 토큰 KV 캐시 재사용으로 약 1.1초→0.7초; S1은 TensorRT로 궤적 32개 약 0.03초; S2 2 Hz·S1 30 Hz
추론 메모리: 약 20GB
가중치 bf16 (계산): 16.8 GB
실행 위치: 원격 서버 (RTX 4090)

강화학습: 미사용 · 모방학습(SFT·diffusion)만; S1 critic은 지도학습
베이스 제어: 바퀴형·사족보행·휴머노이드 보행 (웨이포인트 → 추종 제어기) · S2 픽셀 목표·잠재 계획 → S1 궤적 출력 → 오도메트리 기준 월드 좌표로 변환해 MPC로 추종

핵심 특징: VLM 기반 System 2가 이미지 상 픽셀 목표·잠재 계획을 저주파로 내고 diffusion 기반 System 1이 이를 조건으로 고주파 궤적을 생성하는 비동기 이중 시스템 내비게이션 기반 모델이다. 시뮬레이션 전용 InternData-N1(53.5M 이미지·4,839.9 km)로 학습해 VLN-CE·VLN-PE에서 최고 수준을 내고 바퀴형·사족·휴머노이드 실로봇에 제로샷 이전했다.
비고: 발표는 HF InternVLA-N1-Preview 저장소 생성(2025-07-21) 기준, 기술 보고서는 2025-09-11, DualVLN 논문 arXiv 2512.08186(2025-12); HF 변형: Preview(동기, 약 2 Hz) → wo-dagger(첫 공식판 개명) → w-NavDP*·DualVLN(권장, RGB만); 학습 GPU·시간 미공개; 데이터 규모 표기 50M 이상/53M/53.5M 혼재; 라이선스 CC BY-NC-SA 4.0; 2025-12 학습 코드 공개. 기반: NavDP: Learning Sim-to-Real Navigation Diffusion Policy with Privileged Information Guidance (arXiv 2505.08712) — 보고서가 System 1이 NavDP와 유사한 구조를 계승한다고 명시
검증: 확인