VLA 갤러리 / 모델 목록 / Flow·Diffusion VLA
GraspVLA
Galbot, Peking University, HKU, BAAI · 2025-05
VLAFlow·Diffusion VLALLM 1.8Bflow matching
실로봇 데이터 없이 합성 SynGrasp-1B(10M 궤적)와 웹 grounding(GRIT)을 공동 학습해 제로샷 파지를 한다.
논문
GraspVLA: a Grasping Foundation Model Pre-trained on Billion-scale Synthetic Action DataarXiv 2505.03233
개요
- 분류
- Flow·Diffusion VLA
- 유형
- VLA
- 발표
- 2025-05
- 기관
- Galbot, Peking University, HKU, BAAI
- 가중치 공개
- 예
- 파라미터
- LLM 1.8B; 총계·액션 전문가 크기 미공개
구조
- 백본 LLM
- InternLM2 1.8B
- 비전 인코더
- DINOv2 + SigLIP (고정)
- 액션 헤드
- bbox → 파지 자세 → flow 청크 (flow matching)
- 청크
- 4스텝
- 제어 주기
- 10 Hz (데이터)
- 구조 원문 요약
- InternLM2 1.8B(학습) + frozen DINOv2·SigLIP; Progressive Action Generation: 2D bbox → 파지 자세 → flow matching 액션 청크(4스텝); 액션 10 Hz 저장
학습
- 사전학습 가속기
- 모델 학습 미공개(데이터 생성은 RTX 4090×160)
- 사전학습 기간
- 모델 학습 미공개(데이터 생성 10일)
- 사전학습 스텝·배치
- 배치 384, lr 1.6e-4, 120k 스텝 이후 성공률 안정; README 예시 200K 스텝·GPU 8/노드(논문 값 아님)
- GPU·TPU-시간
- 미공개
- 파인튜닝
- 연산 미공개; 사후학습 과제 1~2 100 시연, 과제 3 병당 10; 새 팔·카메라 적응에 합성 궤적 5k(RTX 4090 1장 하루)
- 데이터 종류
- 시뮬레이션·합성 + 웹 비전-언어
- 데이터 규모
- SynGrasp-1B 10M 궤적(궤적당 약 100프레임, 약 1B 프레임), 물체 메시 10,680개·240 범주; GRIT(혼합 비율 미공개)
- 주요 데이터셋
- SynGrasp-1B, GRIT
- 태스크·평가
- 실기 제로샷 파지: 합성 범주 93.3%, 웹 범주 93.3%; LIBERO Long 82.0·Goal 91.2·Object 94.1
- 로봇
- Franka Panda(단일 팔), UR5e 적응
추론
- 추론 장치·속도
- L40s + Torch Compile 약 200 ms(비전 9·bbox 72·파지 자세 50·flow 64 ms), 약 9 GB; 5 Hz(AnyGrasp 37 Hz)
- 추론 메모리
- 약 9 GB (L40s)
- 가중치 bf16 (계산)
- 미공개
- 실행 위치
- 미공개
강화학습 · 베이스
- 강화학습
- 미사용 · 합성 데이터 모방학습
- 베이스 제어
- 고정 · 베이스 제어 없음 (Franka·UR5e 팔 파지)
비고
- 핵심 특징
- 실로봇 데이터 없이 합성 SynGrasp-1B(10M 궤적)와 웹 grounding(GRIT)을 공동 학습해 제로샷 파지를 한다. 데이터 생성에 RTX 4090 160장으로 10일, 약 $5,000가 들었다.
- 비고
- 데이터 생성 연산과 모델 학습 연산을 혼동하지 말 것. 제로샷 파지 93.3%는 Table 1 추출값으로 원문 대조 권장. 가중치 cc-by-nc-4.0(2025-07-25 공개).
- 검증
- 확인