VLA 갤러리 / 모델 목록 / 내비게이션

LightNav-0

Light Origins · 2026-08

VLA내비게이션4.85B이산 토큰

사전학습 VLM에 새 헤드 없이 포인팅 토큰과 RVQ 행동 토큰만 더해 지시 추종·물체 탐색·시각 추적을 한 토큰 인터페이스로 통합하고 ER 중간학습→SFT→GRPO RL 순으로 학습한다.

논문

LightNav-0: Eliciting VLM Spatial Intelligence for Generalist Embodied NavigationarXiv 2608.30935

개요

분류

내비게이션

유형

VLA

발표

2026-08

기관

Light Origins

가중치 공개

예

파라미터

4.85B (HF safetensors) / 4B (Qwen3-VL-4B-Instruct 기반; README 표의 LightNav-ER 4B, 총량 문장 없음)

구조

백본 LLM

Qwen3-VL-4B-Instruct (36층 LLM)

비전 인코더

Qwen3-VL 네이티브 해상도 ViT

액션 헤드

포인팅 토큰 2개 + RVQ 행동 토큰 3개 → 10 SE(2) 웨이포인트 (이산 토큰)

청크

웨이포인트 10개

제어 주기

약 4–5 Hz (README 폐루프)

구조 원문 요약

Qwen3-VL-4B-Instruct(네이티브 해상도 ViT + 36층 LLM), 과제별 헤드 없이 어휘만 확장; 단계마다 이중 채널 포인팅 토큰 2개(affordance·object) → RVQ 행동 토큰 3개(코드북 K=256×3) → 10스텝 SE(2) 웨이포인트 디코딩; 최근성 기반 이력 압축; 첫 웨이포인트를 로봇 측 MPC가 추종, 폐루프 약 4–5 Hz

학습

사전학습 가속기

H100 (장수 미공개)

사전학습 기간

미공개

사전학습 스텝·배치

ER 중간학습 배치 128·최대 10,240토큰·lr 1e-5, SFT 배치 320·최대 8,192토큰(시퀀스당 약 8.6샘플 패킹)·lr 1.5e-5; 스텝 미공개

GPU·TPU-시간

1,120 (명시 · H100-시간 (ER 중간학습 "approximately 170 H100 GPU-hours" + SFT "approximately 950 H100 GPU-hours" 합산))

파인튜닝

GRPO 온라인 RL: H100 8장 단일 노드, 시간 미공개; 업데이트당 256 에피소드(G=8×B=32), lr 1e-6

데이터 종류

시뮬레이션·합성 / 웹 비전-언어

데이터 규모

내비게이션 2K+ 장면·4K+ 시간; ER 중간학습 36개 소스(포인팅 35%·단일 이미지 VQA 25%·일반 추론 20%·영상 추론 20%); SFT는 내비 16개 + ER/VQA 33개 소스(내비 감독 약 77.6%) + DAgger 수집분; 블로그: Stage II 지시 742K(고유 474K)

주요 데이터셋

R2R; RxR; ScaleVLN; HM3D; MP3D; VLNVerse; Habitat-GS; InteriorGS; HM3D-OVON; EVT-Bench; ER: RefSpatial, RoboPoint, VSI-590K, SQA3D 등

태스크·평가

R2R-CE val-unseen SR 68.5%·SPL 62.8, RxR-CE SR 73.6%·SPL 64.5; ObjectNav MP3D 53.3%·HM3D v1 74.5%·v2 77.2%, HM3D-OVON unseen 47.0%; EVT-Bench STT SR 91.7%·DT SR 82.6%; INSIGHT-Bench SR 43.7%; LightNav-ER 8개 ER 벤치 평균 67.4; 실로봇 4종 제로샷

로봇

Unitree Go2 사족, LimX TRON 1, LightBot-0, 비행 로봇(기종 미기재); 논문은 휴머노이드·사족·비행·바퀴형 4종으로만 기술

추론

추론 장치·속도

RTX 4090에서 생성 토큰당 약 4 ms(vLLM, 논문); README: 단일 GPU 스텝당 약 60–150 ms, Jetson AGX Thor 온보드 bf16 268 ms(3.7 Hz)·fp8(LLM만) 178 ms(5.6 Hz)·폐루프 4.5–4.8 Hz; 로봇 측 MPC 10 Hz

추론 메모리

미공개

가중치 bf16 (계산)

9.7 GB

실행 위치

원격 GPU 서버 또는 온보드 Jetson AGX Thor

강화학습 · 베이스

강화학습

사용 (VLA RL 사후학습) · SFT 후 GRPO 온라인 RL(과제 단위 종단 보상, 그룹 정규화 이점)

강화학습 근거

https://arxiv.org/html/2608.30935v2

베이스 제어

바퀴형·사족보행·휴머노이드 보행·비행 (웨이포인트 → 추종 제어기) · 모델이 10스텝 SE(2) 웨이포인트 출력 → 로봇 측 MPC가 첫 웨이포인트를 선속도·각속도 명령으로 추종(Go2·TRON1 어댑터); 비행 로봇도 시연

비고

핵심 특징

사전학습 VLM에 새 헤드 없이 포인팅 토큰과 RVQ 행동 토큰만 더해 지시 추종·물체 탐색·시각 추적을 한 토큰 인터페이스로 통합하고 ER 중간학습→SFT→GRPO RL 순으로 학습한다. 단안 RGB만으로 10개 공개 시뮬 설정에서 단안 기준 최고 성공률(R2R-CE SR 68.5%, EVT-Bench STT SR 91.7%)을 냈고 휴머노이드·사족·비행·바퀴형 로봇에 제로샷 이전했다.

비고

GPU-시간은 두 명시값 합산(RL 단계 시간 미공개). 데이터 시간(h)은 '4K+ hours' 하한. 가중치 HF LightOriginsHQ/LightNav-0, 코드 Apache 2.0, INSIGHT-Bench 별도 공개. 블로그(2026-09-01)는 2,000+ 인터넷 실세계 장면을 재사용 시뮬 세계로 변환했다고 설명. TRON 1·LightBot-0의 유형별 분류는 원문 미기재.

검증

수정 반영