VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

OpenVLA

Stanford·UC Berkeley·TRI·Google DeepMind·Physical Intelligence·MIT · 2024-06

VLA자기회귀·잠재 액션 VLA7B이산 토큰

OXE 970k 궤적으로 학습한 공개 7B VLA로, ECoT·TraceVLA·OpenVLA-OFT·UniVLA 등이 이 스택을 기반으로 했다.

논문

OpenVLA: An Open-Source Vision-Language-Action ModelarXiv 2406.09246

개요

분류

자기회귀·잠재 액션 VLA

유형

VLA

발표

2024-06

기관

Stanford·UC Berkeley·TRI·Google DeepMind·Physical Intelligence·MIT

가중치 공개

예

파라미터

7B(논문)/7.5B(README); Table 1 Full FT 7,188.1M; 비전 600M + Llama 2 7B

구조

백본 LLM

Llama 2 7B · Prismatic-7B

비전 인코더

SigLIP + DINOv2 (600M)

액션 헤드

256-bin 이산 토큰 7개 (이산 토큰)

청크

없음 (1스텝)

제어 주기

미공개

구조 원문 요약

Prismatic-7B(SigLIP+DINOv2 600M → 2층 MLP → Llama 2 7B); 액션 차원별 256-bin 이산 토큰(어휘 마지막 256개), 청크 없음, 224×224 입력

학습

사전학습 가속기

A100 64장

사전학습 기간

14일(논문)/15일(프로젝트 페이지)

사전학습 스텝·배치

27 epochs, batch 2048, lr 2e-5 고정(공개 체크포인트명은 step-295000-epoch-40)

GPU·TPU-시간

21,500 (명시 · A100-시간)

파인튜닝

LoRA r=32(파라미터 1.4% 학습): A100 1장 10–15 h(최소 약 27 GB; batch 16은 59.7 GB(논문)/약 72 GB(README)); 전체 FT: A100 8장(FSDP) 과제당 5–15 h

데이터 종류

실로봇 텔레옵

데이터 규모

970k 궤적

주요 데이터셋

OXE 'Open-X Magic Soup++'(Fractal 12.7%, Kuka 12.7%, Bridge 13.3%, DROID 10.0% 등); DROID는 학습 마지막 1/3에서 제외

태스크·평가

BridgeData V2 WidowX·Google 로봇 일반화 평가; Franka-Tabletop·Franka-DROID 파인튜닝(10–150 시연); LIBERO 평균 76.5%(84.7/88.4/79.2/53.7)

로봇

WidowX, Google 로봇, Franka

추론

추론 장치·속도

RTX 4090 약 6 Hz, bf16 15 GB; int8 10.2 GB·A5000 1.2 Hz; int4 7.0 GB·A5000 3 Hz; A100 4.2 Hz(2차, OpenVLA-OFT 측정)

추론 메모리

bf16 15 GB · int8 10.2 GB · int4 7.0 GB (논문)

가중치 bf16 (계산)

14 GB

실행 위치

로컬 PC

강화학습 · 베이스

강화학습

미사용 · 액션 토큰 예측 모방학습

베이스 제어

고정 · 베이스 제어 없음 (팔만: 7차원 EE 변위·그리퍼)

비고

핵심 특징

OXE 970k 궤적으로 학습한 공개 7B VLA로, ECoT·TraceVLA·OpenVLA-OFT·UniVLA 등이 이 스택을 기반으로 했다. 사전학습 컴퓨트를 21,500 A100-시간으로 명시했다.

비고

학습 기간이 논문 14일, 프로젝트 페이지 15일로 다르다. Table 1의 Full FT 163.3 GB는 batch 16을 GPU 2장에 FSDP로 나눈 합계다. LIBERO 파인튜닝 부록(App E)은 확인하지 못했다. 파라미터(B)는 논문 값 7B다.

검증

확인