VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

Octo

UC Berkeley·Stanford·CMU·Google DeepMind · 2023-12

VA자기회귀·잠재 액션 VLA27Mdiffusion

사전학습 VLM 없이 OXE 800k 에피소드로 학습한 범용 VA 정책이다.

논문

Octo: An Open-Source Generalist Robot PolicyarXiv 2405.12213

개요

분류

자기회귀·잠재 액션 VLA

유형

VA

발표

2023-12

기관

UC Berkeley·Stanford·CMU·Google DeepMind

가중치 공개

예

파라미터

27M(Small)/93M(Base), T5-base 111M 제외; 2023-12 기술보고서 Table 4는 Base 86M

구조

백본 LLM

없음 (T5-base 텍스트 인코더)

비전 인코더

ViT 패치 토큰

액션 헤드

확산 헤드 (3층 MLP, 20스텝) (diffusion)

청크

4스텝 (파인튜닝 기본)

제어 주기

5·10·15 Hz (로봇별)

구조 원문 요약

ViT-S/B 크기 트랜스포머 + T5-base 언어 인코더(111M); 확산 액션 헤드(3층 MLP, 20 스텝), 액션 청크(파인튜닝 기본 4), 관측 이력 2프레임

학습

사전학습 가속기

TPU v4-128 pod

사전학습 기간

Base 14 h(논문); Small 8 h(README)

사전학습 스텝·배치

300k steps, batch 2048(ViT-B)

GPU·TPU-시간

1,792 (환산 · TPU v4 코어-시간 (128 × 14 h, Octo-Base))

파인튜닝

A5000(24GB) 1장 약 5 h(50k steps, 목표 시연 약 100개); 저장소 기본 batch 256, head_only·head_mlp_only·full 모드

데이터 종류

실로봇 텔레옵

데이터 규모

800k 에피소드(OXE 25개 데이터셋); 전처리 데이터 약 1.2TB(README)

주요 데이터셋

Open X-Embodiment(Fractal·Kuka·Bridge 각 17.0% 가중)

태스크·평가

4개 기관 9개 실로봇 셋업(WidowX BridgeV2, UR5 TableTop, RT-1 Robot, Berkeley Bimanual 등); LIBERO 평균 75.1%(2차, OpenVLA README)

로봇

WidowX, UR5, RT-1 로봇, 양팔 셋업 등 9개 셋업; 평가 제어 주기 5·10·15 Hz

추론

추론 장치·속도

RTX 4090 1장에서 Base 13 it/s, Small 17 it/s(README); 논문에는 추론 속도 없음

추론 메모리

미공개

가중치 bf16 (계산)

0.2 GB

실행 위치

로컬 PC

강화학습 · 베이스

강화학습

미사용 · OXE 데이터 모방학습

베이스 제어

고정 · 베이스 제어 없음 (팔 EE 행동; RT-1 로봇도 팔만)

비고

핵심 특징

사전학습 VLM 없이 OXE 800k 에피소드로 학습한 범용 VA 정책이다. 모듈형 어텐션으로 새 센서·액션 공간에 맞춰 파인튜닝할 수 있다.

비고

발표월은 저장소 v0.1.0 태그(2023-12-14)와 기술보고서 기준이며 arXiv v1은 2024-05-20이다. 파라미터(B)는 Octo-Base(T5 제외) 기준이고, GPU·TPU-시간은 TPU v4-128의 128을 코어 수로 보고 환산했다.

검증

확인