GR00T N1

NVIDIA · 2025-03

VLA휴머노이드 VLA2.2Bflow matching

행동 라벨 없는 사람 영상·뉴럴 생성 영상에 잠재행동(LAPA)·역동역학 모델(IDM) 의사 행동을 붙여 실로봇·시뮬 데이터와 함께 사전학습한다.

논문

백본 LLM: SmolLM2 · Eagle-2 VLM (12층 표현 사용)
비전 인코더: SigLIP-2
액션 헤드: flow matching DiT (4스텝) (flow matching)
청크: 16스텝
제어 주기: 120 Hz
구조 원문 요약: System 2: Eagle-2 VLM(1.34B, L40에서 10 Hz) / System 1: flow-matching DiT, 행동 청크 H=16·디노이징 K=4, 120 Hz 연속 모터 행동

사전학습 가속기: GPU 최대 1,024장 (GPU-시간은 H100 기준)
사전학습 기간: 미공개
사전학습 스텝·배치: 200,000 스텝 · 배치 16,384
GPU·TPU-시간: 50,000 (명시 · H100-시간 ("roughly 50,000"))
파인튜닝: 기본 60k 스텝·배치 1,024(Table 6: 20,000~60,000 스텝, 배치 128 또는 1,024), GPU·시간 미공개; A6000 1장이면 배치 최대 200(어댑터+DiT)·16(비전 인코더 포함)
데이터 종류: 실로봇 텔레옵 / 사람 영상 / 시뮬레이션·합성
데이터 규모: Total 592.9M 프레임·8,375.7시간 (로봇 262.3M·3,288.8 h, 사람 181.3M·2,517.0 h, 시뮬 125.5M·1,742.6 h, 뉴럴 23.8M·827.3 h)
주요 데이터셋: GR-1 Teleop 88.4 h; AgiBot-Alpha 1,979.4 h(140,000 궤적); DROID 428.3 h; Ego4D 2,144.7 h; GR-1 Simulation 1,742.6 h; GR-1 Neural Videos 827.3 h
태스크·평가: 시뮬(태스크당 100데모) RoboCasa 32.1%·DexMimicGen 66.5%·GR-1 Tabletop 50.0%(평균 45.0%); 실 GR-1 전체 데이터 평균 76.8%, 10% 데이터 42.6%
로봇: Fourier GR-1 휴머노이드(실·시뮬), Franka·양팔 시뮬 등 교차 엠바디먼트; 상체·테이블 작업, 이동 없음

핵심 특징: 행동 라벨 없는 사람 영상·뉴럴 생성 영상에 잠재행동(LAPA)·역동역학 모델(IDM) 의사 행동을 붙여 실로봇·시뮬 데이터와 함께 사전학습한다. 사전학습 GPU-시간과 데이터셋별 시간 표를 함께 공개했다.
비고: 사전학습 스텝은 검증에서 Table 6 값 200,000으로 수정, Total 행도 검증에서 추가(NEW). 데이터 생성 compute 별도: 뉴럴 궤적 L40 3,600장·약 105k L40 GPU-시간(~1.5일), DexMimicGen 780,000 궤적(사람 시연 6,500시간 상당)을 11시간에 생성.
검증: 수정 반영