VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

villa-X

Microsoft Research·Tsinghua University·Wuhan University·HKUST·Nanjing University · 2025-07

VLA자기회귀·잠재 액션 VLALAM 955Mflow matching

잠재 액션을 중간 계획으로 두고 로봇 액션 전문가와 함께 학습한다.

논문

villa-X: Enhancing Latent Action Modeling in Vision-Language-Action ModelsarXiv 2507.23682

개요

분류

자기회귀·잠재 액션 VLA

유형

VLA

발표

2025-07

기관

Microsoft Research·Tsinghua University·Wuhan University·HKUST·Nanjing University

가중치 공개

일부

파라미터

LAM 955M(README); actor 미공개

구조

백본 LLM

미공개

비전 인코더

미공개

액션 헤드

잠재 액션 전문가 + flow matching 로봇 액션 전문가 (flow matching)

청크

미공개

제어 주기

미공개

구조 원문 요약

잠재 액션 모델(LAM) + actor(잠재 액션 전문가·로봇 액션 전문가); 로봇 액션은 flow matching으로 생성

학습

사전학습 가속기

LAM: A100 128장; actor: A100 64장

사전학습 기간

LAM 약 4일; actor 4일

사전학습 스텝·배치

미공개

GPU·TPU-시간

6,144 (환산 · A100-시간 (actor 64 × 96 h; LAM 128 × 약 96 h = 12,288 별도))

파인튜닝

미공개

데이터 종류

실로봇 텔레옵 + 사람 영상

데이터 규모

로봇 1.6M 궤적(223.5M 프레임) + 사람 영상 3.6M 클립

주요 데이터셋

Fractal, BridgeData V2, Something-Something V2 등(LAM 혼합 비율 Fractal 10%·Bridge V2 10%·SSv2 100%)

태스크·평가

SIMPLER Google Robot 77.7%·WidowX 62.5%; 실제 Realman 그리퍼·XArm 손

로봇

Google 로봇·WidowX(SIMPLER), Realman 팔(그리퍼), XArm(손)

추론

추론 장치·속도

미공개

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 잠재 액션 사전학습 + 모방학습

베이스 제어

고정 · 베이스 제어 없음 (팔·손)

비고

핵심 특징

잠재 액션을 중간 계획으로 두고 로봇 액션 전문가와 함께 학습한다. 로봇 1.6M 궤적과 사람 영상 3.6M 클립으로 사전학습했다.

비고

노트의 '컴퓨트 미공개'와 '데이터 비율만'은 검증에서 수정됐다. GPU-시간은 actor 사전학습만이며, LAM을 더하면 약 18,432 A100-시간이다. 가중치는 LAM만 공개됐다.

검증

수정 반영