SmolVLA

Hugging Face, Sorbonne University, valeo.ai, ENS Paris-Saclay · 2025-06

VLAFlow·Diffusion VLA0.45Bflow matching

커뮤니티 SO100 데이터셋 481개로 사전학습한 0.45B 소형 VLA로, 단일 GPU 학습과 소비자 GPU·CPU 배포를 목표로 한다.

논문

백본 LLM: SmolLM2 · SmolVLM2-500M 앞 16층
비전 인코더: SigLIP (SmolVLM2)
액션 헤드: flow matching 전문가 약 100M (10스텝) (flow matching)
청크: 50스텝
제어 주기: 미공개
구조 원문 요약: SmolVLM-2(블로그: SmolVLM2-500M) 앞 16개 층(N=L/2) + 약 100M flow matching 액션 전문가(cross·self-attention 교차); 청크 50, flow 10스텝, 프레임당 시각 토큰 64; 비동기 추론

사전학습 가속기: GPU×4(기종 미공개)
사전학습 기간: 미공개
사전학습 스텝·배치: 200,000 스텝, global 배치 256, bf16, cosine lr 1e-4→2.5e-6
GPU·TPU-시간: 미공개
파인튜닝: 논문: 시뮬레이션 100,000 스텝·배치 64, 실기 200,000 스텝. LeRobot 문서: A100 1장 20k 스텝 약 4 h(배치 64), 약 50 에피소드 녹화 권장. 하드웨어 가이드: A100 40GB 1장·배치 16·50 에피소드 5 에폭 약 1~2 h, H100 80GB×4·5000 스텝·배치 32 27m 49s, 피크 VRAM 약 10~16 GB(배치 8)
데이터 종류: 실로봇 텔레옵(커뮤니티 수집)
데이터 규모: 481개 데이터셋(논문)/487개(블로그), 22.9K 에피소드·10.6M 프레임(블로그: 30k 미만 에피소드, 약 1천만 프레임)
주요 데이터셋: LeRobot 커뮤니티 데이터셋(SO100, Hugging Face Hub)
태스크·평가: LIBERO 평균 87.3%, Meta-World 57.3%(0.45B); SO100 Pick-Place 75%·Stacking 90%·Sorting 70%(평균 78.3%); SO101 in-distribution 90%, OOD 50%
로봇: SO100, SO101(저가형 단일 팔); 시뮬레이션 LIBERO·Meta-World

추론 장치·속도: 소비자 GPU·CPU 배포 목표; 비동기 추론 9.7 s vs 동기 13.75 s(약 30% 단축); 블로그 처리량 2배
추론 메모리: 미공개
가중치 bf16 (계산): 4.5 GB
실행 위치: 로컬 PC (소비자 GPU·CPU 목표)

핵심 특징: 커뮤니티 SO100 데이터셋 481개로 사전학습한 0.45B 소형 VLA로, 단일 GPU 학습과 소비자 GPU·CPU 배포를 목표로 한다. 비동기 추론으로 과제 완료 시간을 약 30% 줄였다.
비고: 파라미터(B)는 Table 2 최대 변형 2.25B(주 모델·공개 가중치 0.45B). 사전학습에 시뮬레이션 데이터 미사용, 과제 설명은 Qwen2.5-VL-3B-Instruct로 자동 생성. 30k GPU-시간은 프로젝트 전체 값.
검증: 확인