VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

UniVLA (OpenDriveLab)

HKU·OpenDriveLab·AgiBot · 2025-05

VLA자기회귀·잠재 액션 VLA7B + 액션 디코더 10.8M잠재 액션

과제 무관·과제 중심 2단계로 잠재 액션을 학습해 사람 영상과 내비게이션 데이터까지 사전학습에 쓴다.

논문

UniVLA: Learning to Act Anywhere with Task-centric Latent ActionsarXiv 2505.06111

개요

분류

자기회귀·잠재 액션 VLA

유형

VLA

발표

2025-05

기관

HKU·OpenDriveLab·AgiBot

가중치 공개

예

파라미터

7B + 액션 디코더 10.8M(초록)/12.6M(본문)/약 12M(README); LoRA 시 학습 파라미터 약 123M

구조

백본 LLM

Llama 2 7B · Prismatic-7B

비전 인코더

SigLIP + DINOv2 (+ DINOv2 잠재 액션)

액션 헤드

잠재 액션 토큰 → 엠바디먼트별 디코더 (잠재 액션)

청크

12 (실로봇)

제어 주기

미공개

구조 원문 요약

Prismatic-7B; DINOv2 특징 위 VQ-VAE 과제 중심 잠재 액션(코드북 16, 토큰 4) + 엠바디먼트별 액션 디코더, 실로봇 청크 12

학습

사전학습 가속기

A100 32장

사전학습 기간

약 30 h

사전학습 스텝·배치

20,000 steps, batch 1,024(GPU당 32), lr 2e-5

GPU·TPU-시간

960 (명시 · A100-시간)

파인튜닝

LoRA r=32, GPU 8장(README 명령); LIBERO 30k–40k steps·CALVIN 100k steps, batch 128; 시간 미공개

데이터 종류

실로봇 텔레옵(매니퓰레이션) + 실로봇 내비게이션(GNM) + 사람 영상

데이터 규모

미공개(혼합 비율만: Fractal 13.9%, Kuka 6.3%, Bridge 6.8%, Ego4D 3.0% 등)

주요 데이터셋

OXE 부분집합, GNM, Ego4D

태스크·평가

LIBERO 평균 95.2%(Bridge만 92.5%); CALVIN; SimplerEnv-Bridge; R2R 오라클 성공 47.1%; 실제 AgileX 68.9%

로봇

AgileX, LIBERO·CALVIN·SimplerEnv 시뮬레이션, R2R 내비게이션

추론

추론 장치·속도

RTX 4090 10 Hz(폐루프)

추론 메모리

미공개

가중치 bf16 (계산)

14 GB

실행 위치

로컬 PC

강화학습 · 베이스

강화학습

미사용 · 잠재 액션 사전학습 + 모방학습 파인튜닝

베이스 제어

시뮬 전용 (이산 이동 행동) · 실로봇은 고정 Piper 팔; 내비게이션은 R2R VLN-CE 시뮬 에이전트에 잠재 행동을 이산 이동 행동으로 디코딩해 출력

비고

핵심 특징

과제 무관·과제 중심 2단계로 잠재 액션을 학습해 사람 영상과 내비게이션 데이터까지 사전학습에 쓴다. 사전학습은 960 A100-시간으로 OpenVLA의 약 5%다.

비고

Bridge만·사람 영상만 변형은 GPU 8장, global batch 258(원문 표기), 약 200 A100-시간이다. 잠재 액션 모델은 batch 512·100k steps이며 시간은 미공개다. 도메인에 내비게이션(R2R)도 포함한다. BAAI의 UniVLA와 다른 모델이다.

검증

확인