RT-H

Google DeepMind·Stanford University · 2024-03

VLA산업계 모델55B이산 토큰

한 모델이 'move arm forward' 같은 language motion을 먼저 예측한 뒤 행동을 예측하는 계층형 VLA다.

논문

백본 LLM: UL2 32B · PaLI-X 55B 구성
비전 인코더: ViT (PaLI-X)
액션 헤드: language motion → 행동 토큰 (이산 토큰)
청크: 미공개
제어 주기: 미공개
구조 원문 요약: PaLI-X 55B(ViT 인코더 + 인코더-디코더) 단일 모델; language motion 질의 후 행동 질의, 행동 공간은 end-effector delta 위치·회전, 그리퍼, 베이스 이동

사전학습 가속기: 미공개
사전학습 기간: 미공개
사전학습 스텝·배치: batch 1024, lr 1e-3(PaLI-X 학습 혼합과 co-training; 스텝 미공개)
GPU·TPU-시간: 미공개
파인튜닝: 미공개(개입 학습은 과제당 교정 30 episodes)
데이터 종류: 실로봇 시연 + 웹 비전-언어(PaLI-X 학습 혼합)
데이터 규모: Kitchen 70K demos(6 semantic task categories); Diverse+Kitchen 100K demos(24 categories); 자동 라벨 language motion 2,500개 이상
주요 데이터셋: 자체 Kitchen·Diverse 시연 데이터, PaLI-X training mixture
태스크·평가: 8개 과제 평균 RT-2 대비 +15%; 개입 학습으로 40%→63%; RT-2-IWR 대비 50% 상회; 새 물체 65%(RT-2 55%)
로봇: 모바일 매니퓰레이터(플랫폼명 미확인)

강화학습: 미사용 · 모방학습 + 사람의 language motion 교정 데이터
베이스 제어: 바퀴형 (베이스 속도·자세 직접 출력) · 정책 행동 9차원 중 베이스 이동 2차원 직접 출력 (언어 모션 'turn base left' 등)

핵심 특징: 한 모델이 'move arm forward' 같은 language motion을 먼저 예측한 뒤 행동을 예측하는 계층형 VLA다. 사람이 language motion 수준에서 개입해 교정하고 그 교정 데이터로 다시 학습한다.
비고: 논문에 TPU·GPU 문장 없음. arXiv v1 2024-03-04. 소속은 Google DeepMind와 Stanford University.
검증: 확인