NaVILA

UC San Diego·USC·NVIDIA · 2024-12

VLA내비게이션8B이산 토큰

VLA가 저수준 관절 명령 대신 거리·각도를 담은 중간 수준 언어 행동을 출력하고, LiDAR 높이맵을 쓰는 RL 보행 정책이 이를 장애물 회피와 함께 실행하는 2단계 구조다.

논문

백본 LLM: Llama 3 8B · VILA 구성 (README 체크포인트명)
비전 인코더: SigLIP (README 체크포인트명)
액션 헤드: 중간 언어 행동 텍스트 (전진 cm · 회전 도 · 정지) → 고정 속도 명령 (이산 토큰)
청크: 없음 (1스텝)
제어 주기: VLA 약 1 FPS (RTX 4090)
구조 원문 요약: VILA 기반 8B VLM (README 체크포인트명: SigLIP 비전 인코더 + Llama 3 8B) + MLP 프로젝터, 프레임당 196토큰·실배포 8프레임 메모리; 중간 수준 언어 행동('move forward 75 cm', 'turn right 30 degrees', 'stop') → 고정 속도(0.5 m/s, ±π/6 rad/s, 0)로 해당 시간만큼 실행 → RL 보행 정책(LiDAR 높이맵 + 고유감각)이 관절 위치 목표 출력

사전학습 가속기: A100 4노드 (VLA instruction-tuning 단계; VILA 상속 1·2단계는 A100 16노드, 노드당 8 GPU)
사전학습 기간: 18시간 (instruction-tuning 단계)
사전학습 스텝·배치: 1 에폭 (lr 1e-4 코사인 감쇠·warm-up 0.03; 배치 미공개)
GPU·TPU-시간: 미공개
파인튜닝: VLA 별도 미세조정 없음; RL 보행 정책은 Isaac Lab PPO, RTX 4090 1장에서 60K FPS 이상 처리량 (학습 시간 미공개)
데이터 종류: 시뮬레이션·합성 / 웹 영상 / 웹 비전-언어
데이터 규모: YouTube 1인칭 투어 영상 2K개 → 궤적 20K(MASt3R 자세 추정으로 행동 라벨); R2R·RxR·EnvDrop·ScanQA·일반 VQA 규모는 미기재
주요 데이터셋: R2R-CE; RxR-CE; R2R-EnvDrop; ScanQA; YouTube Human Touring(자체); 일반 영상 VQA(video_chatgpt·sharegpt_video·sharegpt4v_sft, README)
태스크·평가: R2R-CE val-unseen SR 54.0%·SPL 49.0%; RxR-CE SR 49.3%·SPL 44.0%; 자체 VLN-CE-Isaac 벤치(R2R val-unseen 1,077 궤적) 도입; 실세계 Workspace·Home·Outdoor 25개 지시×3회 SR 88%, 복합 지시 75%
로봇: Unitree Go2 사족(LiDAR); Unitree H1·Booster T1 휴머노이드

추론 장치·속도: VLA는 RTX 4090 1장에서 약 1 FPS; FP16 594.58 ms·18.5 GB, AWQ W4A16 367.80 ms·8.6 GB (1,737 컨텍스트 토큰); 실행 위치 미명시(양자화로 로봇 직접 배포 시 이미지 전송 시간을 없앨 수 있다고 언급)
추론 메모리: 18.5 GB (FP16)
가중치 bf16 (계산): 16 GB
실행 위치: RTX 4090 1장 (로봇 탑재 여부 미명시)

강화학습: 일부 (RL 하위 제어기 결합) · VLA는 SFT, 하위 보행 정책은 Isaac Lab에서 PPO로 학습(LiDAR 높이맵, 관절 위치 출력)
강화학습 근거: https://arxiv.org/abs/2412.04453
베이스 제어: 사족보행·휴머노이드 보행 (명령·잠재 → RL 보행 제어기) · VLA가 중간 언어 명령(거리·각도·정지) 출력 → 고정 속도 명령으로 변환 → RL 보행 정책이 관절 위치 제어

핵심 특징: VLA가 저수준 관절 명령 대신 거리·각도를 담은 중간 수준 언어 행동을 출력하고, LiDAR 높이맵을 쓰는 RL 보행 정책이 이를 장애물 회피와 함께 실행하는 2단계 구조다. YouTube 투어 영상 2K개에서 만든 궤적 20K를 포함한 데이터로 학습해 R2R-CE SR 54.0%를 내고 실세계 25개 지시에서 성공률 88%를 보였다.
비고: LLM·비전 인코더 명칭은 논문 미기재, README 체크포인트명(navila-siglip-llama3-8b-v1.5-pretrain, navila-llama3-8b-8f) 기준; VILA 1·2단계(커넥터 초기화 4시간·VL 사전학습 30시간)는 상속; RL 보행 정책 제어 주파수 미기재(LiDAR 15 Hz); 가중치·학습 코드·데이터 주석 공개(YouTube 원본은 영상 ID만); RSS 2025. 기반: VILA: On Pre-training for Visual Language Models (arXiv 2312.07533) — 논문이 VILA 위에 구축하고 1·2단계를 VILA에서 상속했다고 명시
검증: 확인