VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

LAPA

KAIST·University of Washington·Microsoft Research·NVIDIA·Allen Institute for AI · 2024-10

VLA자기회귀·잠재 액션 VLA7B잠재 액션

액션 레이블 없는 로봇·사람 영상에서 잠재 액션을 학습해 VLA를 사전학습한다.

논문

분류: 자기회귀·잠재 액션 VLA
유형: VLA
발표: 2024-10
기관: KAIST·University of Washington·Microsoft Research·NVIDIA·Allen Institute for AI
가중치 공개: 예
파라미터: 7B(LWM-Chat-1M); LAQ 크기 미공개

백본 LLM: LWM-Chat-1M 7B (Llama 2 7B 기반)
비전 인코더: LWM 비전 토크나이저
액션 헤드: 잠재 액션 토큰 → 액션 디코더 (잠재 액션)
청크: 미공개
제어 주기: 미공개
구조 원문 요약: LWM-Chat-1M 7B; 잠재 액션 토큰(LAQ VQ-VAE, 어휘 8·길이 4, 0.6초 앞 프레임) → 파인튜닝에서 실제 액션

사전학습 가속기: H100 8장
사전학습 기간: 34 h
사전학습 스텝·배치: batch 128(논문)/256·70K steps(README)
GPU·TPU-시간: 272 (명시 · H100-시간)
파인튜닝: A100 80GB 4장(README), 학습 액션 정확도 95% 도달까지; 시간 미공개
데이터 종류: 실로봇 텔레옵(액션 미사용 영상) + 사람 영상
데이터 규모: OXE 970k 시연(액션 미사용) + SSv2 220K 영상; Bridgev2 60k·LangTable 181k 궤적
주요 데이터셋: Open X-Embodiment, Something-Something V2, BridgeData V2, Language Table
태스크·평가: LangTable; SIMPLER(WidowX, 다중과제 100 궤적 파인튜닝); 실제 탁상 3과제; 실제 평균 50.1%(OpenVLA 43.9%)
로봇: LangTable 시뮬레이션, WidowX(SIMPLER), 실제 탁상 로봇

핵심 특징: 액션 레이블 없는 로봇·사람 영상에서 잠재 액션을 학습해 VLA를 사전학습한다. 272 H100-시간으로 OpenVLA 대비 30~40배 효율적이라고 주장한다.
비고: 30~40배 효율은 H100이 A100보다 2~3배 빠르다는 저자 가정에 기댄다. LAQ 학습 컴퓨트는 미공개다.
검증: 확인