VLA 갤러리 / 모델 목록 / 참고 기준(2024 이전)

RT-2

Google DeepMind · 2023-07

VLA참고 기준(2024 이전)55B·5B이산 토큰

사전학습 VLM을 로봇 데이터와 웹 VQA·캡션 데이터로 공동 파인튜닝해 행동을 텍스트 토큰으로 낸다.

논문

분류: 참고 기준(2024 이전)
유형: VLA
발표: 2023-07
기관: Google DeepMind
가중치 공개: 아니오
파라미터: 55B·5B(RT-2-PaLI-X), 12B(RT-2-PaLM-E); Language-Table용 3B(PaLI-3B: ViT-G/14 2B + UL2-3B)

백본 LLM: UL2 32B 인코더-디코더 (PaLI-X 55B) / PaLM 계열 (PaLM-E 12B)
비전 인코더: ViT-22B (PaLI-X) / ViT-4B (PaLM-E)
액션 헤드: 256구간 텍스트 토큰 8개 (이산 토큰)
청크: 없음 (1스텝)
제어 주기: 1–3 Hz (55B)
구조 원문 요약: PaLI-X(ViT-22B + 32B·50층 인코더-디코더) 또는 PaLM-E(ViT-4B + 12B 디코더); 행동 8개 정수(6-DoF 변위·그리퍼·종료)를 256구간 텍스트 토큰으로 출력, 청크 없음

사전학습 가속기: 미공개(기존 PaLI-X·PaLM-E 사전학습 가중치 사용)
사전학습 기간: 미공개
사전학습 스텝·배치: 미공개(기존 VLM)
GPU·TPU-시간: 미공개
파인튜닝: 가속기·시간 미공개; 공동 파인튜닝 55B: lr 1e-3·배치 2048·80K 스텝, 5B: 배치 2048·270K 스텝, 12B: lr 4e-4·배치 512·1M 스텝, 3B(Language-Table): 배치 128·300K 스텝
데이터 종류: 실로봇 텔레옵; 웹 비전-언어
데이터 규모: 로봇: RT-1 데이터(13대·17개월, 에피소드 수는 RT-1 논문 기준 약 130k); 웹: WebLI 약 10B 이미지-텍스트 쌍(109개 언어)을 상위 10%로 걸러 1B 예시 + 캡션·VQA 데이터셋; 로봇 비중 약 50%(PaLI-X)·약 66%(PaLM-E)
주요 데이터셋: RT-1 데이터; WebLI; 캡션·VQA 데이터셋
태스크·평가: 실로봇 평가 6k회; 학습 과제 200개 이상, 일반화 과제 280개 이상; Language-Table 시뮬레이션; 창발 능력 평가
로봇: RT-1과 같은 모바일 매니퓰레이터(사무실 주방)

추론 장치·속도: 멀티 TPU 클라우드 서비스에 네트워크로 질의; 55B 1–3 Hz, 5B 약 5 Hz; 로봇 탑재 GPU로는 직접 실행 불가하다고 서술
추론 메모리: 미공개
가중치 bf16 (계산): 110 GB
실행 위치: 클라우드

핵심 특징: 사전학습 VLM을 로봇 데이터와 웹 VQA·캡션 데이터로 공동 파인튜닝해 행동을 텍스트 토큰으로 낸다. 256구간 행동 토큰 방식은 이후 자기회귀 VLA 다수가 재사용했다.
비고: 파라미터(B)는 최대 변형 55B. 학습 연산은 스텝×배치로만 공개. PaLI-X-5B의 비전·언어 분해는 원문에 없음.
검증: 확인