Hi Robot

Physical Intelligence, Stanford, UC Berkeley · 2025-02

VLAπ 계열상위 PaliGemma-3B + 하위 π0 3.3Bflow matching

상위 VLM이 사용자 프롬프트와 중간 개입을 1~3초 스킬 단위 언어 명령으로 바꾸고 하위 π0가 실행하는 계층형 시스템이다.

논문

백본 LLM: Gemma 2B × 2 (상위·하위, PaliGemma 구성)
비전 인코더: SigLIP 400M
액션 헤드: π0 flow matching 전문가 (flow matching)
청크: 미공개
제어 주기: 미공개
구조 원문 요약: 상위: PaliGemma-3B VLM(언어 명령 출력, 1초마다 또는 사용자 개입 시 재실행); 하위: π0(PaliGemma-3B + flow matching 액션 전문가)

사전학습 가속기: 해당 없음(PaliGemma-3B·π0 초기화 재사용)
사전학습 기간: 해당 없음
사전학습 스텝·배치: 해당 없음
GPU·TPU-시간: 미공개
파인튜닝: 상위 정책 H100×8 약 2 h, 배치 512, lr 1×10⁻⁵(1,000스텝 워밍업); 하위 정책 시간 미공개
데이터 종류: 실로봇 텔레옵(1~3초 스킬로 분할) + VLM 생성 합성 언어 데이터(프롬프트·개입)
데이터 규모: 미공개(시간·에피소드·합성 예시 수 모두)
주요 데이터셋: 자체 텔레옵 시연(이름 미공개)
태스크·평가: Table bussing, 샌드위치 만들기(재료 최대 6개), 장보기; 과제·방법당 20 trials; GPT-4o 상위 정책 대비 명령 정확도 평균 40% 이상 높음
로봇: UR5e(6-DoF, 평행 그리퍼), 양팔 ARX(6-DoF×2), 모바일 ARX(Mobile ALOHA)

추론 장치·속도: RTX 4090 1~2장; 하위 탑재 73 ms·원격(WiFi) 86 ms; 상위 RTX 4090 47 ms(prefill) + 13.2 ms(decode), H100 17.3 + 5.7 ms
추론 메모리: 미공개
가중치 bf16 (계산): 미공개
실행 위치: 로컬 PC

강화학습: 미사용 · 지도학습(합성 상호작용 데이터 포함)
베이스 제어: 바퀴형 (베이스 속도·자세 직접 출력) · 하위 π0 정책 출력에 모바일 ARX 베이스 2차원 포함 (grocery shopping); 상위 VLM은 언어 명령만

핵심 특징: 상위 VLM이 사용자 프롬프트와 중간 개입을 1~3초 스킬 단위 언어 명령으로 바꾸고 하위 π0가 실행하는 계층형 시스템이다. 상위 정책은 VLM이 합성한 사용자 상호작용 데이터로 학습했다.
비고: 학습 연산·추론 세부는 arXiv v2(2025-07-15)에만 있음. 합성 데이터 생성 VLM 이름 미공개. 파라미터(B)는 시스템 총계 미공개로 null.
검증: 수정 반영