π0

Physical Intelligence · 2024-10

VLAπ 계열3.3Bflow matching

VLM 백본에 별도 flow matching 액션 전문가를 붙인 π 계열 첫 모델로, 7개 로봇 구성·68과제의 약 10,000 h 데이터로 사전학습했다.

논문

백본 LLM: Gemma 2B · PaliGemma 3B 구성
비전 인코더: SigLIP 400M
액션 헤드: flow matching 액션 전문가 300M (10스텝) (flow matching)
청크: 50스텝
제어 주기: 최대 50 Hz
구조 원문 요약: PaliGemma 3B VLM + 300M 액션 전문가(처음부터 학습); flow matching 연속 액션 청크 H=50, 최대 50 Hz, 적분 10스텝

사전학습 가속기: 미공개
사전학습 기간: 미공개
사전학습 스텝·배치: 700k 스텝(compute parity 변형 160k) / 배치 미공개
GPU·TPU-시간: 미공개
파인튜닝: 논문 미공개(과제당 사후학습 데이터 5~100+ h). openpi: LoRA >22.5 GB(RTX 4090), Full >70 GB(A100 80GB/H100), pi0_libero 30k 스텝·배치 32(시간 미공개). LoRA A800×4 약 7 h·30k 스텝·배치 32(2차, X-VLA 논문 App. K 재학습)
데이터 종류: 실로봇 텔레옵(자체 + 오픈 데이터)
데이터 규모: 약 10,000 h; 자체 903M timesteps; 68과제; 오픈 데이터 비중 9.1%
주요 데이터셋: PI 자체 데이터, OXE(Magic Soup), Bridge v2, DROID
태스크·평가: 셔츠 접기, Bussing easy/hard, Grocery bagging, Toast; 다단계: 빨래 접기, 모바일 빨래, 모바일 건조기, 건조기 비우기, Table bussing, 박스 만들기, To-go box, 계란 포장; 파인튜닝 과제 5종; openpi LIBERO 96.8/98.8/95.8/85.2, 평균 94.15
로봇: UR5e, 양팔 UR5e, Franka, 양팔 Trossen, 양팔 ARX·AgileX, 모바일 Trossen·ARX, 모바일 Fibocom (7개 구성)

추론 장치·속도: RTX 4090 탑재 73 ms(이미지 인코더 14 + 관측 32 + 액션×10 27 ms), 원격 86 ms; openpi 추론 >8 GB
추론 메모리: > 8 GB (openpi README)
가중치 bf16 (계산): 6.6 GB
실행 위치: 온보드 또는 원격 PC

강화학습: 미사용 · flow matching 모방학습
베이스 제어: 바퀴형 (베이스 속도·자세 직접 출력) · 모바일 구성에서 베이스 행동이 정책 출력에 포함 (Trossen·ARX 2차원, Fibocom 3차원); 그 외 고정 팔

핵심 특징: VLM 백본에 별도 flow matching 액션 전문가를 붙인 π 계열 첫 모델로, 7개 로봇 구성·68과제의 약 10,000 h 데이터로 사전학습했다. 빨래 접기·박스 만들기 같은 다단계 장기 과제를 수행한다.
비고: 과제-로봇 조합을 n^0.43으로 가중. 현재 arXiv PDF는 v4(2026-01-08)이며 지연 표 등은 v1에도 있음. PI 블로그는 403으로 미확인. openpi 가중치는 2025-02-03 첫 커밋부터 공개(Apache-2.0).
검증: 확인