Ψ0 (Psi-Zero)

USC PSI Lab + NVIDIA + WorldEngine · 2026-03

VLA2026 신규2.5B 초과하이브리드

사람 영상 약 800시간과 로봇 데이터 30시간만으로 10배 넘는 데이터의 기준 모델을 40% 이상 앞섰다고 보고했다.

논문

백본 LLM: Qwen3 · Qwen3-VL-2B 구성
비전 인코더: Qwen3-VL 비전
액션 헤드: MM-DiT 액션 전문가 약 500M (하이브리드)
청크: 미공개
제어 주기: 미공개
구조 원문 요약: Qwen3-VL-2B-Instruct + MM-DiT 액션 전문가(약 500M); 사전학습 FAST 토큰(48→약 20) 48-DoF 작업 공간 액션, 사후학습 36-DoF 관절 공간 액션; 하체는 RL 추적 정책 AMO(8-DoF 명령→15-DoF 관절)

사전학습 가속기: A100 64개
사전학습 기간: 10일
사전학습 스텝·배치: 글로벌 배치 1024, LR 0.0001 고정 (steps 미공개)
GPU·TPU-시간: 15,360 (환산 · A100-시간 (64 GPU × 10일=240시간))
파인튜닝: 사후학습 A100 32개(단일 노드) 약 30시간, 배치 2048; 과제별 파인튜닝 40,000 steps(코사인 LR 1e-4 시작)
데이터 종류: 사람 영상(1인칭 EgoDex) + 실로봇 텔레옵(휴머노이드)
데이터 규모: EgoDex 약 829시간; Humanoid Everyday 31시간(260과제); 과제당 텔레옵 궤적 80개
주요 데이터셋: EgoDex, Humanoid Everyday
태스크·평가: Unitree G1 실과제 8개; 2위 GR00T-N1.6 대비 전체 성공률 40% 이상 높음; 비교 π0.5, GR00T N1.6, EgoVLA, H-RDT, InternVLA-M1, DP, ACT
로봇: Unitree G1(29 DoF, Dex3-1 7-DoF 손, 머리 RealSense D435i)

강화학습: 일부 (RL 하위 제어기 결합) · VLA는 지도학습, 하체는 RL 추적 정책 AMO(8-DoF 명령 → 15-DoF 관절)
베이스 제어: 휴머노이드 보행 (명령·잠재 → RL 보행 제어기) · VLA가 손·팔 관절 + 하체 8-DoF 명령(토르소 rpy·높이·vx·vy·vyaw·방향) 출력 → AMO RL 추적 정책이 다리·허리 15 DoF 관절 생성 (회전·보행·쪼그려 앉기)

핵심 특징: 사람 영상 약 800시간과 로봇 데이터 30시간만으로 10배 넘는 데이터의 기준 모델을 40% 이상 앞섰다고 보고했다. 실시간 액션 청킹을 학습 단계에서 다룬다.
비고: 수정 반영: 가중치 공개 확인(HF USC-PSI-Lab/psi-model, 데이터 psi-data, Apache 2.0), 2026-09-13 SONIC용 체크포인트 추가. arXiv 2026-03-12. CVPR 2026 3D-LLM/VLA 워크숍 최우수 논문상(2026-06-03). 파라미터(B)는 하한값 2.5. 데이터 시간(h)은 사전학습 EgoDex분.
검증: 수정 반영