π0.5 + KI

π0.5 + KI (Knowledge Insulation)

Physical Intelligence · 2025-05

VLAπ 계열총계 미공개하이브리드

액션 전문가의 기울기가 VLM으로 흐르지 않게 막아 VLM 지식을 보존하면서 FAST 토큰으로 표현을 학습한다.

논문

백본 LLM: Gemma 2B · PaliGemma 구성 2B VLM
비전 인코더: SigLIP 400M
액션 헤드: FAST 토큰(VLM) + flow 전문가 300M, stop-gradient (하이브리드)
청크: 50스텝
제어 주기: 미공개
구조 원문 요약: PaliGemma 초기화 2B LM 백본 + 300M 액션 전문가; VLM은 FAST 이산 토큰, 전문가는 flow matching(horizon 50)으로 학습하고 stop-gradient로 전문가 기울기의 VLM 유입 차단; VLM 데이터 공동 학습

사전학습 가속기: 미공개
사전학습 기간: 미공개
사전학습 스텝·배치: 미공개(π0는 비슷한 성능까지 7.5배 스텝 필요)
GPU·TPU-시간: 미공개
파인튜닝: 미공개
데이터 종류: 실로봇 텔레옵 + 웹 비전-언어
데이터 규모: 미공개(12개 엠바디먼트 구성 + OXE + VLM 데이터)
주요 데이터셋: PI 자체 데이터, OXE; CapsFusion, COCO, Cambrian-7M, PixMo, VQAv2, 물체 위치 데이터
태스크·평가: LIBERO(from generalist 98.0/97.8/95.6/85.8, LIBERO-90 96.0; from scratch LIBERO-90 92.7); DROID 0.55±0.09(π0 0.49±0.09, π0-FAST 0.45±0.09); 서랍 넣기·bussing·셔츠 접기, 미지 가정 모바일 4과제(과제당 10 에피소드)
로봇: 12개 구성: 단일 팔 ARX·UR5·Franka; 양팔 ARX·AgileX·Trossen·UR5; 양팔 모바일 Trossen·ARX slate·Galaxea G1·Hexmove H1·Fibocom

추론 장치·속도: 자체 지연 수치 미공개; π0-FAST ≈750 ms(RTX 4090), π0 방식 10 Hz vs 자기회귀 VLA 1.3 Hz 인용
추론 메모리: 미공개
가중치 bf16 (계산): 미공개
실행 위치: 미공개

강화학습: 미사용 · 지도학습(stop-gradient로 VLM 보호)
베이스 제어: 바퀴형 (형식 미기재) · 모바일 양팔 과제(Make bed·Laundry in basket 등)에 이동 포함; 베이스 행동 차원 구성은 논문 미기재(π0.5 방식)

핵심 특징: 액션 전문가의 기울기가 VLM으로 흐르지 않게 막아 VLM 지식을 보존하면서 FAST 토큰으로 표현을 학습한다. π0는 비슷한 성능까지 7.5배 많은 스텝이 필요했고, 이 방법은 스텝당 연산이 약 20% 늘었다.
비고: 'π0.5 + KI'는 과제 지정 라벨로 논문은 'knowledge insulation'이라 부름. openpi의 π0.5·pi05_droid가 KI로 학습됨. 부록 B num_heads=18은 openpi의 8과 충돌. π0-FAST는 서랍 과제에서 2배 긴 실행 시간.
검증: 확인