VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

SpatialVLA

Shanghai AI Lab·Fudan University·SJTU·Zhejiang University·ShanghaiTech·Northwestern Polytechnical University · 2025-01

VLA자기회귀·잠재 액션 VLA3.5B이산 토큰

3D 위치 인코딩과 적응형 그리드 토큰으로 7차원 액션을 3토큰으로 줄였다.

논문

SpatialVLA: Exploring Spatial Representations for Visual-Language-Action ModelarXiv 2501.15830

개요

분류

자기회귀·잠재 액션 VLA

유형

VLA

발표

2025-01

기관

Shanghai AI Lab·Fudan University·SJTU·Zhejiang University·ShanghaiTech·Northwestern Polytechnical University

가중치 공개

예

파라미터

3.5B(논문)/4B(체크포인트명)

구조

백본 LLM

Gemma 2 2B · PaliGemma2 3B 구성

비전 인코더

SigLIP + Ego3D 깊이 인코딩

액션 헤드

적응형 그리드 공간 토큰 (액션당 3개) (이산 토큰)

청크

4스텝

제어 주기

미공개

구조 원문 요약

PaliGemma2(paligemma2-3b-pt-224) + Ego3D 위치 인코딩(ZoeDepth); 적응형 액션 그리드로 액션당 공간 토큰 3개(어휘 8194), 청크 T=4(토큰 12개)

학습

사전학습 가속기

A100 64장

사전학습 기간

10일(논문)/약 10일(README)

사전학습 스텝·배치

stage 1 160k + stage 2 40k steps(DROID 제외 후), batch 2048, lr 2e-5

GPU·TPU-시간

15,360 (환산 · A100-시간 (64 × 240 h))

파인튜닝

LoRA, A100 4장 또는 8장(README); LIBERO는 LoRA r=32·200 epochs; 시간 미공개

데이터 종류

실로봇 텔레옵

데이터 규모

1.1M 에피소드(28개 데이터셋); Franka 파인튜닝 과제당 50–200 시연

주요 데이터셋

OXE(Bridge 15.34%, Fractal 14.71%, DROID 11.66%, BC-Z 8.64% 등), RH20T 5.67%

태스크·평가

SimplerEnv Google Robot 제로샷 비주얼 매칭 71.9%(RT-2-X 60.7%); WidowX 제로샷 34.4%·파인 42.7%; LIBERO 평균 78.1%; 실제 Franka 단일 과제 82%·다중 과제 57%

로봇

WidowX, Google 로봇(SimplerEnv), Franka

추론

추론 장치·속도

RTX 4090 1장 약 20 Hz, 8.5 GB

추론 메모리

8.5 GB (RTX 4090)

가중치 bf16 (계산)

7 GB

실행 위치

로컬 PC

강화학습 · 베이스

강화학습

미사용 · 모방학습(행동 복제)만 사용

베이스 제어

고정 · 베이스 제어 없음 (팔만: EE 행동)

비고

핵심 특징

3D 위치 인코딩과 적응형 그리드 토큰으로 7차원 액션을 3토큰으로 줄였다. RTX 4090에서 약 20 Hz로 돈다.

비고

검증에서 소속을 수정했다(TeleAI 없음, Northwestern Polytechnical University 추가). 파라미터(B)는 논문 값 3.5B다.

검증

수정 반영