π0-FAST (FAST 토크나이저)

Physical Intelligence, UC Berkeley, Stanford · 2025-01

VLAπ 계열3B이산 토큰

액션 청크를 DCT와 BPE로 압축해 고주파 연속 제어를 자기회귀 토큰으로 학습하게 했다.

논문

백본 LLM: Gemma 2B · PaliGemma 3B 구성
비전 인코더: SigLIP 400M
액션 헤드: FAST 토큰 자기회귀 (어휘 1024) (이산 토큰)
청크: 1초 (DROID 15스텝)
제어 주기: 5–50 Hz (과제별)
구조 원문 요약: PaliGemma-3B, 액션 전문가 없음; FAST 이산 액션 토큰(DCT+BPE, rounding 10, 어휘 1024) 자기회귀 디코딩, 1초 청크(DROID 15스텝), 평가 5~50 Hz

사전학습 가속기: 범용 모델 미공개; DROID 단독 정책(PaliGemma부터) H100×8
사전학습 기간: 범용 모델 미공개(π0 대비 GPU-시간 5배 적음); DROID 단독 정책 약 4일
사전학습 스텝·배치: 범용 모델 미공개; DROID 단독 정책 240k iter·배치 256(3 에폭)
GPU·TPU-시간: 미공개
파인튜닝: openpi pi0_fast_full_droid_finetune: H100×8 약 2일, 100k 스텝·배치 256; pi0_fast_libero 30k 스텝(LoRA판 동일). LeRobot LIBERO: H100×8, 40k 스텝·배치 256(2차)
데이터 종류: 실로봇 텔레옵
데이터 규모: 로봇 데이터 10k h; FAST+ 토크나이저 1초 청크 약 100만 개(본문)/1M 궤적(초록); DROID 75k 에피소드·21M 샘플; LIBERO 270k 샘플
주요 데이터셋: PI 자체 데이터(903M timesteps), BRIDGE v2, DROID, OXE(혼합의 9.1%)
태스크·평가: Table bussing(UR5, 20 Hz), T-shirt folding(양팔 ARX, 50 Hz), Grocery bagging, Toast(양팔 Trossen, 50 Hz), Laundry folding; DROID 제로샷 16과제·44 trials(3개 캠퍼스); openpi LIBERO 96.4/96.8/88.6/60.2, 평균 85.5
로봇: UR5/UR5e, 양팔 ARX, 양팔 Trossen, DROID Franka; FAST+ 학습: ARX, AgileX, Fibocom Mobile, Franka FR3, UR5, Trossen, Mobile Trossen

핵심 특징: 액션 청크를 DCT와 BPE로 압축해 고주파 연속 제어를 자기회귀 토큰으로 학습하게 했다. π0 대비 학습 GPU-시간을 5배 줄였지만 청크 추론은 약 750 ms로 느리다.
비고: 압축비 BridgeV2 1.75×, DROID 3.6×, Bussing 5.0×, T-shirt 13.2×. FAST+ 토크나이저는 HF에 Apache-2.0 공개. openpi pi0_fast_droid 기본 horizon 10으로 논문 DROID 15스텝과 다름. openpi README_train의 '약 5일'(PaliGemma에서 240k iter)은 pi05_full_droid_finetune 기준.
검증: 수정 반영