VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

WorldVLA

Alibaba DAMO Academy·Hupan Lab·Zhejiang University · 2025-06

VLA자기회귀·잠재 액션 VLA미공개이산 토큰

액션 생성과 다음 이미지 예측(월드 모델)을 하나의 자기회귀 모델에 통합했다.

논문

WorldVLA: Towards Autoregressive Action World ModelarXiv 2506.21539

개요

분류

자기회귀·잠재 액션 VLA

유형

VLA

발표

2025-06

기관

Alibaba DAMO Academy·Hupan Lab·Zhejiang University

가중치 공개

예

파라미터

미공개(Chameleon 기반)

구조

백본 LLM

Chameleon 7B

비전 인코더

VQ-GAN 이미지 토큰

액션 헤드

256-bin 토큰 + 이미지 생성 (이산 토큰)

청크

10 · 5

제어 주기

미공개

구조 원문 요약

Chameleon 초기화(README는 Lumina-mGPT-7B-768 토크나이저 참조); VQ-GAN 이미지 토큰(코드북 8192) + 256-bin 액션 토큰 7개, 청크 K=10(LIBERO-Long)/5, 액션 어텐션 마스크

학습

사전학습 가속기

미공개

사전학습 기간

미공개

사전학습 스텝·배치

미공개

GPU·TPU-시간

미공개

파인튜닝

미공개

데이터 종류

시뮬레이션·합성

데이터 규모

LIBERO 시연(실패 제외 후 90/10 분할)

주요 데이터셋

LIBERO

태스크·평가

LIBERO 평균 81.8%(512², OpenVLA 76.5%)

로봇

LIBERO 시뮬레이션

추론

추론 장치·속도

약 3.67 FPS(1프레임, 청크)~1.22 FPS(4프레임, 청크 없음); GPU 미기재

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 영상·액션 생성 지도학습

베이스 제어

고정 · 베이스 제어 없음 (LIBERO 팔 시뮬)

비고

핵심 특징

액션 생성과 다음 이미지 예측(월드 모델)을 하나의 자기회귀 모델에 통합했다. 청크 생성 때 이전 액션을 가리는 어텐션 마스크를 쓴다.

비고

README 토크나이저 경로는 Chameleon-7B를 암시하지만 파라미터 수는 기재되지 않았다. 저장소는 2025-11 RynnVLA-002로 업그레이드됐다.

검증

확인