VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

UniVLA (BAAI)

CASIA·BAAI·Tsinghua University·HKISI · 2025-06

VLA자기회귀·잠재 액션 VLA8.5B이산 토큰

비전·언어·액션을 하나의 이산 토큰 시퀀스로 다루고 로봇 영상으로 월드 모델 사후학습을 한다.

논문

Unified Vision-Language-Action ModelarXiv 2506.19850

개요

분류

자기회귀·잠재 액션 VLA

유형

VLA

발표

2025-06

기관

CASIA·BAAI·Tsinghua University·HKISI

가중치 공개

예

파라미터

8.5B(Emu3와 동일)

구조

백본 LLM

Emu3 (8.5B)

비전 인코더

VQ 이미지 토큰

액션 헤드

DCT/FAST 액션 토큰 (영상·액션 교차) (이산 토큰)

청크

미공개

제어 주기

미공개

구조 원문 요약

Emu3 기반 통합 자기회귀 모델; VQ 이미지 토큰(공간 압축 8) + DCT/FAST 액션 토큰(어휘 1024), 영상-액션 교차 시퀀스

학습

사전학습 가속기

A100(40GB) 32장

사전학습 기간

약 4–5일(50k steps 실행 문장 기준)

사전학습 스텝·배치

50k steps(A100 32장 문장); 별도 문장 30K steps·batch 64; 256×256 6프레임, 최대 시퀀스 6400

GPU·TPU-시간

미공개

파인튜닝

CALVIN·LIBERO batch 192·8k steps(A100), SimplerEnv batch 128·20k steps·청크 5; GPU 수·시간 미공개

데이터 종류

실로봇 텔레옵(영상) + 시뮬레이션·합성 + 사람 영상

데이터 규모

영상 622K(로봇 데이터셋 + SSv2 사람 영상)

주요 데이터셋

RT-1, BridgeV2, DROID, Kuka, CALVIN, LIBERO, ManiSkill2, SSv2 등

태스크·평가

CALVIN ABC→D 4.41·ABCD→D 4.63; LIBERO 평균 95.5%; SimplerEnv-Bridge 69.8%; 실제 ALOHA

로봇

ALOHA, CALVIN·LIBERO·SimplerEnv 시뮬레이션

추론

추론 장치·속도

미공개

추론 메모리

미공개

가중치 bf16 (계산)

17 GB

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 영상·액션 생성 지도학습

베이스 제어

고정 · 로봇 실험은 고정 양팔(ALOHA); 자율주행 차량 주행 평가는 별도(로봇 베이스 아님)

비고

핵심 특징

비전·언어·액션을 하나의 이산 토큰 시퀀스로 다루고 로봇 영상으로 월드 모델 사후학습을 한다. CALVIN ABC→D 평균 길이 4.41, LIBERO 95.5%를 보고했다.

비고

사전학습 칸은 Emu3 위의 월드모델 사후학습 단계다(Emu3 자체 학습 컴퓨트는 미공개). 검증 결과 '4–5일'은 50k steps 문장(App A)이고 '30K steps·batch 64'는 별개 문장(Sec 4.2)이라 합치지 않았다. 소속은 CASIA 등으로 보완했다. OpenDriveLab의 UniVLA와 다른 모델이다.

검증

수정 반영