VLA 갤러리 / 모델 목록 / Flow·Diffusion VLA
F1-VLA
Shanghai AI Laboratory, Harbin Institute of Technology (Shenzhen) · 2025-09
VLAFlow·Diffusion VLA4.2Bflow matching
액션 전에 미래 시각 장면(foresight)을 next-scale 방식으로 생성해 계획에 쓰는 VLA다.
논문
F1: A Vision-Language-Action Model Bridging Understanding and Generation to ActionsarXiv 2509.06951
개요
- 분류
- Flow·Diffusion VLA
- 유형
- VLA
- 발표
- 2025-09
- 기관
- Shanghai AI Laboratory, Harbin Institute of Technology (Shenzhen)
- 가중치 공개
- 예
- 파라미터
- 4.2B
구조
- 백본 LLM
- Gemma · PaliGemma 초기화
- 비전 인코더
- SigLIP (PaliGemma)
- 액션 헤드
- foresight 생성 + flow matching 전문가 (flow matching)
- 청크
- 미공개
- 제어 주기
- 미공개
- 구조 원문 요약
- Mixture-of-Transformer: 이해 전문가(PaliGemma 초기화) + foresight 생성 전문가(VAR residual VQ-VAE next-scale, 추론 4 scale) + flow matching 액션 전문가(π0 계승)
학습
- 사전학습 가속기
- 미공개(App. B에 GPU 종류·개수·시간 없음)
- 사전학습 기간
- 미공개
- 사전학습 스텝·배치
- Stage I 512K 스텝·배치 1280·lr 3.0e-4(cosine); Stage II 100K 스텝·배치 2880·lr 5.0e-5(constant)
- GPU·TPU-시간
- 미공개
- 파인튜닝
- Stage III 배치 128·lr 5.0e-5(cosine), 하드웨어·시간 미공개; 사후학습 사내 약 1.8K 궤적
- 데이터 종류
- 실로봇 텔레옵 + 시뮬레이션(LIBERO)
- 데이터 규모
- 330.9K 궤적·73.8M 프레임, 136과제, 5개 엠바디먼트(AgiBot-World 187K/66.4M, Bridge-v2 53.2K/1.9M, Fractal 87.2K/3.8M, LIBERO 1.7K/0.3M)
- 주요 데이터셋
- AgiBot World, OXE Bridge v2, OXE Fractal, LIBERO
- 태스크·평가
- LIBERO 98.2/97.8/95.4/91.3, 평균 95.7; SimplerEnv Bridge 72.9; Genie 실기 9과제 평균 82.2%(grasp 92.6%)
- 로봇
- Genie G1, Franka, ARX LIFT II, WidowX, Google Robot(단일·양팔)
추론
- 추론 장치·속도
- 미공개(foresight를 4 scale로 제한해 실시간 제어 지향)
- 추론 메모리
- 미공개
- 가중치 bf16 (계산)
- 8.4 GB
- 실행 위치
- 미공개
강화학습 · 베이스
- 강화학습
- 미사용 · 모방학습(행동 복제)만 사용
- 베이스 제어
- 고정 · 베이스 이동 언급 없음 (Genie-1·ARX LIFT II 조작; 동적 과제는 컨베이어 벨트)
비고
- 핵심 특징
- 액션 전에 미래 시각 장면(foresight)을 next-scale 방식으로 생성해 계획에 쓰는 VLA다. Genie 실기 9과제 평균 성공률 82.2%를 냈다.
- 비고
- π0 액션 전문가·PaliGemma에서 초기화(README가 lerobot/pi0_base 요구). App. B 하이퍼파라미터는 검증에서 새로 확인(노트는 미확인).
- 검증
- 수정 반영