FLOWER

KIT Intuitive Robots Lab (공저자 1명 Microsoft Research) · 2025-09

VLAFlow·Diffusion VLA947Mflow matching

VLM 중간층 융합과 액션 공간별 Global-AdaLN으로 파라미터를 20% 넘게 줄여 약 200 H100 GPU-시간에 사전학습했다.

논문

분류: Flow·Diffusion VLA
유형: VLA
발표: 2025-09
기관: KIT Intuitive Robots Lab (공저자 1명 Microsoft Research)
가중치 공개: 예
파라미터: 947M(본문)/950M(초록); ViT 360M(논문)/350M(README), VLM 205M, Flow Transformer 339M, Global-AdaLN 28.3M

백본 LLM: 없음 (Florence-2 VLM 205M, 디코더 제거)
비전 인코더: Florence-2-L ViT (360M)
액션 헤드: Flow Transformer 339M (4–8스텝) (flow matching)
청크: 20스텝
제어 주기: 3–50 Hz
구조 원문 요약: 디코더를 제거한 Florence-2-L(ViT 360M + VLM 205M, 중간층 융합) + 18층·1024차원 Flow Transformer(339M), Action-Space Global-AdaLN-Zero; rectified flow, 청크 20, denoising 4(단일 팔)/8(고주파 양팔), 3~50 Hz

사전학습 가속기: H100×4(1노드)
사전학습 기간: 48 h
사전학습 스텝·배치: 360,000 스텝(데이터 구성별 300k~400k), 배치 256×grad accum 4 = 1024, lr FlowT 1e-4·VLM 1e-5
GPU·TPU-시간: 200 (명시 · H100-시간 (약 200; 4장 × 48 h))
파인튜닝: CALVIN GPU×4·GPU당 배치 8·40k 스텝; LIBERO suite별 30k(LIBERO-90 50k); 실기 주방 50,000 스텝; 시간 미공개; 저장소 학습 24GB+ VRAM
데이터 종류: 실로봇 텔레옵
데이터 규모: 공개 데이터셋 8개 약 250k 궤적(delta-EEF 74%, 단일 팔 관절 26%); 실기 417 궤적(사람 시연 45분)
주요 데이터셋: OXE soup: Bridge 28.62%, Fractal 24.68%, DROID 23.50% 등
태스크·평가: CALVIN ABCD→D 4.67, ABC→D 4.53(초록)/4.54(README), D→D 4.36; LIBERO-10 94.5%(README)/94.9%(논문), LIBERO-90 93.4%, Spatial 97.2%, Object 99.3%, Goal 96.9%; SIMPLER Bridge 40.0%, Google Robot 31.9%; Aloha sim insertion 0.82; 실기 주방 평균 61%
로봇: 단일 팔(Franka Panda 실기 주방), 양팔(Aloha sim), 4개 엠바디먼트

핵심 특징: VLM 중간층 융합과 액션 공간별 Global-AdaLN으로 파라미터를 20% 넘게 줄여 약 200 H100 GPU-시간에 사전학습했다. RTX 4090에서 311 Hz로 돌며 π0 메모리의 27.6%만 쓴다.
비고: 파라미터(B)는 본문 947M. 947M/950M, ViT 360M/350M, LIBERO-Long 94.9/94.5, CALVIN ABC 4.53/4.54로 출처 간 차이. arXiv v1 날짜줄 미확인(HF Papers 2025-09-05).
검증: 확인