OmniVLA

UC Berkeley·Toyota Motor North America·Princeton University · 2025-09

VLA내비게이션7.5B회귀

언어·목표 이미지·2D 목표 위치를 단독 또는 조합으로 받는 옴니모달 내비게이션 VLA로, OpenVLA 7B를 10개 플랫폼 9,500시간 데이터로 LoRA 학습했다.

논문

백본 LLM: Llama 2-7B · OpenVLA 구성
비전 인코더: DINOv2 + SigLIP
액션 헤드: 선형 행동 헤드 (웨이포인트 8개 회귀, OFT식) (회귀)
청크: 웨이포인트 8개 (3 Hz · 2.4초)
제어 주기: 행동 3 Hz 간격 (실행 주기 미공개)
구조 원문 요약: OpenVLA 7B(Llama 2-7B + DINOv2·SigLIP, 총 7.5B)에 현재·목표 이미지, 2D 목표 위치, 언어 입력(modality dropout으로 목표 조합 마스킹) → LLM 출력의 선형 행동 헤드(OpenVLA-OFT식)로 웨이포인트 8개(3 Hz, 2.4초) 회귀 → 선속도·각속도 명령; 경량판 OmniVLA-edge 50M(ViNT 기반, EfficientNet-B0·CLIP·FiLM)

사전학습 가속기: H100 80GB 8장 (README는 'across 8 nodes' 표기)
사전학습 기간: 미공개
사전학습 스텝·배치: GPU당 배치 7 × 기울기 누적 4 = 유효 배치 224; 스텝 미공개
GPU·TPU-시간: 미공개
파인튜닝: CAST 데이터 미세조정판 공개 (GPU·시간 미공개)
데이터 종류: 실로봇 텔레옵 / 실로봇 자율 주행 로그 / 웹 영상 / 사람 영상
데이터 규모: 9,500시간·10개 플랫폼 (사용 시간: GNM 62.0h, LeLaN 128.7h, FrodoBots-2K 700h, BDD-V 8,680h)
주요 데이터셋: GNM 혼합; LeLaN 혼합; FrodoBots-2K(MBRA 재라벨); BDD-V(MBRA 재라벨); CAST(미세조정)
태스크·평가: 실로봇 성공률: 언어 0.73 (OmniVLA-edge 0.60, LeLaN 0.43, CounterfactualVLA 0.33, MiniVLA 0.23, SmolVLA 0.10); 2D 위치 0.95 (MBRA 0.86, NoMaD 0.33); 목표 이미지 1.00 (MBRA 1.00, NoMaD 0.63, ViNT 0.50)
로봇: FrodoBots EarthRover Zero 바퀴형, VizBot 바퀴형, Unitree Go1 사족

강화학습: 미사용 · 모방학습만 (MBRA·NoMaD 합성 행동 라벨 포함)
베이스 제어: 바퀴형·사족보행 (웨이포인트 → 추종 제어기) · VLA가 웨이포인트 8개 출력 → 선택 웨이포인트를 선속도·각속도 명령으로 변환해 로봇에 전송

핵심 특징: 언어·목표 이미지·2D 목표 위치를 단독 또는 조합으로 받는 옴니모달 내비게이션 VLA로, OpenVLA 7B를 10개 플랫폼 9,500시간 데이터로 LoRA 학습했다. 실로봇에서 언어 목표 성공률 0.73(LeLaN 0.43)·2D 위치 0.95·목표 이미지 1.00으로 모달리티별 전용 정책과 같거나 높았다.
비고: LoRA로 학습 파라미터 약 5%로 제한. FrodoBots·BDD-V는 MBRA, LeLaN은 NoMaD 합성 행동 라벨. HF 페이지 자동 표기 '8B params'(논문 7.5B), BF16 safetensors 약 15.1GB. 학습 시간·추론 지연 미공개. ICRA 2026. 기반: OpenVLA: An Open-Source Vision-Language-Action Model (arXiv 2406.09246) — OpenVLA 7B 체크포인트에서 학습 시작, OpenVLA-OFT 코드베이스 기반 (README)
검증: 확인