EgoScale

NVIDIA GEAR + UC Berkeley + University of Maryland · 2026-02

VLA2026 신규미공개flow matching

1인칭 인간 영상 20,854시간 이상으로 VLA를 사전학습해 손재주 과제 평균 성공률을 54% 올렸다.

논문

백본 LLM: 미기재 (GR00T N1 설계 VL 백본)
비전 인코더: —
액션 헤드: DiT flow 전문가 + 엠바디먼트별 MLP (flow matching)
청크: 미공개
제어 주기: 미공개
구조 원문 요약: GR00T N1 설계: VL 백본 + DiT 액션 전문가(플로) + 엠바디먼트별 MLP 어댑터; 상대 SE(3) 손목 + 22-DoF 손 관절(인간 손 키포인트 21개 리타깃)

사전학습 가속기: GB200 256개 (Stage I 인간 데이터 사전학습)
사전학습 기간: 미공개
사전학습 스텝·배치: Stage I 100K steps, 배치 8,192, LR 5×10⁻⁵
GPU·TPU-시간: 미공개
파인튜닝: Stage II(인간-로봇 정렬 중간학습) 50K steps·배치 2,048, Stage III(사후학습) 10K steps·배치 512; GPU·시간 미기재
데이터 종류: 사람 영상(1인칭, 액션 라벨) + 실로봇 텔레옵(정렬 중간학습)
데이터 규모: 1인칭 인간 영상 20,854시간 이상(EgoDex 829시간 포함); 중간학습 인간 약 50시간 + 로봇 4시간(344과제)
주요 데이터셋: 자체 in-the-wild 1인칭 녹화, EgoDex
태스크·평가: 손재주 5과제(셔츠 말기·카드 분류·집게 과일 옮기기·병뚜껑·주사기); 무사전학습 대비 평균 성공률 +54%; 원샷 셔츠 접기 0.88·물병 열기 0.55
로봇: Galaxea R1Pro + Sharpa Wave 22-DoF 손; Unitree G1 + 7-DoF 3지 손(하체 HOMIE)

강화학습: 미사용 · 사람 영상 사전학습 → 정렬 중간학습 → 시연 파인튜닝(지도학습)
강화학습 근거: https://arxiv.org/html/2602.16710
베이스 제어: 고정 · R1 Pro 베이스·토르소 고정 명시(팔 상대 EE + 손); G1은 상체 목표만 출력, 하체 균형·보행은 별도 HOMIE 정책

핵심 특징: 1인칭 인간 영상 20,854시간 이상으로 VLA를 사전학습해 손재주 과제 평균 성공률을 54% 올렸다. 데이터 1k→20k시간에서 평균 완료율이 0.30→0.71로 올랐다.
비고: 수정 반영: 256 GB200은 Stage I에만 연결된 문장이며 Stage II·III GPU는 미기재. 장면 9,869·과제 6,015·객체 43,237은 in-the-wild 녹화분 기준. 프로젝트 페이지 '22k Hours' 라벨과 상충해 논문 값 사용. GR00T N1.7의 인간 데이터 기반. 가중치·데이터 공개 1차 근거 없음(확인불가). 데이터 시간(h)은 Stage I 사람 영상분. 검증 손실 L = 0.024 − 0.003·ln(D), R² 0.9983.
검증: 수정 반영