Gemini Robotics

Google DeepMind · 2025-03

VLA산업계 모델미공개미공개

클라우드 백본과 온보드 디코더로 나눠 관측에서 action chunk까지 약 250ms, 유효 50Hz로 제어한다.

논문

백본 LLM: Gemini 2.0 기반 (크기 미공개)
비전 인코더: 미공개
액션 헤드: 온보드 로컬 액션 디코더 (미공개)
청크: 청크 (길이 미공개)
제어 주기: 유효 50 Hz
구조 원문 요약: Gemini 2.0 기반 VLA 백본(Gemini Robotics-ER 증류판, 클라우드) + 로봇 온보드 로컬 액션 디코더; 출력은 action chunk(청크 길이 미공개)

사전학습 가속기: TPU v4, v5p, v6e(칩 수 미공개)
사전학습 기간: 미공개
사전학습 스텝·배치: 미공개
GPU·TPU-시간: 미공개
파인튜닝: 가속기·시간 미공개(특화: 과제당 2,000~5,000 episodes; 빠른 적응: 과제당 최대 100 demos)
데이터 종류: 실로봇 텔레옵 + 웹 비전-언어(문서·코드·이미지·오디오·비디오, ER·VQA)
데이터 규모: ALOHA 2 fleet 12개월 수집 'thousands of hours', 'thousands of diverse tasks'; 정확한 시간·에피소드 수 미공개
주요 데이터셋: 자체 ALOHA 2 텔레옵 데이터(비공개) + 비행동 웹 데이터
태스크·평가: 85과제 일반화 벤치마크(in-distribution 20%, 시각 28%, 지시 28%, 행동 24%); 특화 장기 과제 평균 79%(lunch-box 100%); 100 demos 이하로 8과제 중 7과제 70% 초과; bi-arm Franka in-distribution 평균 63%
로봇: ALOHA 2(주 플랫폼); bi-arm Franka, Apptronik Apollo 휴머노이드로 적응

추론 장치·속도: 클라우드 백본 질의-응답 160ms 미만 + 온보드 디코더; 관측→action chunk end-to-end 약 250ms; 유효 제어 50Hz; 온보드 컴퓨터 사양 미공개
추론 메모리: 미공개
가중치 bf16 (계산): 미공개
실행 위치: 클라우드 + 온보드

핵심 특징: 클라우드 백본과 온보드 디코더로 나눠 관측에서 action chunk까지 약 250ms, 유효 50Hz로 제어한다. 과제당 2,000~5,000 episodes로 종이접기·도시락 싸기 같은 장기 정밀 과제에 특화할 수 있다.
비고: 모델카드(App. A) Hardware 행 'TPU v4, v5p and v6e.', Software 행 'JAX, ML Pathways'; 모델카드는 Gemini Robotics와 Gemini Robotics-ER을 함께 다룸(노트의 미공개†를 수정). 블로그 기준 trusted tester: Agile Robots, Agility Robotics, Boston Dynamics, Enchanted Tools. arXiv v1 2025-03-25.
검증: 수정 반영