π0.5

Physical Intelligence · 2025-04

VLAπ 계열총계 미공개flow matching

한 모델이 서브태스크 텍스트를 먼저 예측한 뒤 액션을 내며, 웹·다중 로봇·서브태스크 주석 데이터와 공동 학습한다.

논문

분류: π 계열
유형: VLA
발표: 2025-04
기관: Physical Intelligence
가중치 공개: 일부
파라미터: 총계 미공개; VLM 2B(부록 E), Fig. 3 'SigLIP (400M) + Gemma (2B)'(사전학습†)/'SigLIP (400M) + Gemma (2.6B)'(사후학습†); 액션 전문가 300M

백본 LLM: Gemma 2B · PaliGemma 구성 2B VLM
비전 인코더: SigLIP 400M
액션 헤드: flow matching 전문가 300M (사전학습은 FAST 토큰) (flow matching)
청크: 50스텝
제어 주기: 50 Hz
구조 원문 요약: PaliGemma 초기화 2B VLM + 300M 액션 전문가; 사전학습은 FAST 이산 토큰, 사후학습에 flow matching 연속 청크 추가(horizon 50, 50 Hz, denoising 10스텝, α=10.0)

사전학습 가속기: 미공개
사전학습 기간: 미공개
사전학습 스텝·배치: 이산 토큰 280k 스텝 + 사후학습 80k 스텝 / 배치 미공개
GPU·TPU-시간: 미공개
파인튜닝: 논문 미공개. openpi pi05_full_droid_finetune: H100×8 약 2일, 100k 스텝·배치 256(약 1 에폭), PaliGemma에서 240k iter면 약 5일; pi05_libero 30k 스텝·배치 256(시간 미공개). LeRobot: 80 GB GPU 1장, 배치 64·30k 스텝(2차)
데이터 종류: 실로봇 텔레옵 + 웹 비전-언어 + 언어 지시 시연·서브태스크 주석
데이터 규모: 모바일 매니퓰레이션 약 400 h·약 100가구; 1단계 학습 예시의 97.6%가 비모바일 데이터; 언어 지시(VI) 시연은 상위 모바일 예시의 약 11%; openpi pi05_base는 로봇 데이터 10k+ h
주요 데이터셋: PI 자체 MM·ME·CE 데이터, OXE; CapsFusion, COCO, Cambrian-7M, PixMo, VQAv2
태스크·평가: 학습에 없던 실제 가정 3곳 + 모의 가정; 주방·침실 정리(싱크대 설거지, 서랍 정리, 빨래 바구니, 침대 정리), 10~15분 과제, 과제당 10회; 학습 위치 3·12·22·53·82·104곳 스케일링; openpi LIBERO 98.8/98.2/98.0/92.4, 평균 96.85
로봇: 가정용 모바일 매니퓰레이터(팔·그리퍼·토르소 리프트 목표 자세 + 베이스 속도, 50 Hz) + 비모바일·교차 엠바디먼트 로봇

강화학습: 미사용 · 웹·다중 로봇·서브태스크 공동 지도학습
베이스 제어: 바퀴형 (베이스 속도·자세 직접 출력) · 정책이 베이스 목표 속도(선속도 2D·각속도 1D)를 50 Hz 청크로 직접 출력 (조작·내비게이션 end-to-end)

핵심 특징: 한 모델이 서브태스크 텍스트를 먼저 예측한 뒤 액션을 내며, 웹·다중 로봇·서브태스크 주석 데이터와 공동 학습한다. 학습에 없던 실제 가정 3곳에서 10~15분짜리 정리 과제를 수행했다.
비고: 데이터 시간(h)은 openpi README의 pi05_base '10k+ hours'(하한) 값; 논문은 모바일 부분 약 400 h만 명시. 부록 E num_heads=18은 openpi gemma_2b의 8과 다름. 부록 'action horizon of 50, i.e. H = 49'는 원문 그대로. openpi π0.5(2025-09 공개)는 KI로 학습돼 논문 레시피와 다를 수 있고 flow 헤드만 지원.
검증: 확인