VLA 갤러리 / 모델 목록 / 참고 기준(2024 이전)

GR-1

ByteDance Research · 2023-12

VLA참고 기준(2024 이전)195M회귀

대규모 사람 영상의 미래 프레임 예측으로 사전학습한 뒤 로봇 데이터로 행동과 미래 이미지를 함께 학습한다.

논문

백본 LLM: 없음 (CLIP 텍스트 인코더)
비전 인코더: MAE ViT + perceiver resampler
액션 헤드: MLP 행동 헤드 + 미래 프레임 예측 (회귀)
청크: 미공개
제어 주기: 미공개
구조 원문 요약: MAE 사전학습 ViT + perceiver resampler, CLIP 텍스트 인코더; GPT형 인과 트랜스포머(12층·12헤드·hidden 384); 3층 MLP 행동 헤드 + 미래 이미지 예측, 입력 길이 10, 미래 프레임 간격 3

사전학습 가속기: 미공개
사전학습 기간: 미공개
사전학습 스텝·배치: 50 에폭, 배치 1024(warmup 5 에폭, lr 3.6e-4, AdamW, cosine)
GPU·TPU-시간: 미공개
파인튜닝: GPU·시간 미공개; CALVIN 20 에폭, 배치 512, lr 1e-3, warmup 1 에폭
데이터 종류: 사람 영상; 시뮬레이션·합성; 실로봇 데모(수집 방식 미기재)
데이터 규모: 사전학습 Ego4D 800K 클립·8M 프레임; CALVIN 20k+ 전문가 궤적(언어 라벨 1%); 실로봇 운반 1,775데모, 서랍 2,856궤적
주요 데이터셋: Ego4D; CALVIN; 자체 Kinova 데이터
태스크·평가: CALVIN ABCD→D 성공률 94.9%(기존 88.9%), 평균 길이 4.21(기존 3.06); ABC→D 85.4%(기존 53.3%); 10% 데이터 첫 과제 0.778; 실로봇 운반 seen 0.79·unseen 인스턴스 0.73·unseen 범주 0.30, 서랍 0.75
로봇: 7-DoF Kinova Gen2 단일 팔; CALVIN 시뮬레이션

핵심 특징: 대규모 사람 영상의 미래 프레임 예측으로 사전학습한 뒤 로봇 데이터로 행동과 미래 이미지를 함께 학습한다. LLM·VLM 백본 없는 언어 조건부 GPT형 정책으로 CALVIN 성능을 올렸다.
비고: 산업계 노트 분류는 VLA(언어 입력 기준)로, 같은 조건의 RT-1을 VA로 둔 노트와 기준이 다르다. Ego4D 전체는 3,500시간 이상이며 GR-1은 그중 800K 클립을 썼다. CALVIN ABCD-D·ABC-D 파인튜닝 체크포인트 공개(Apache-2.0).
검증: 확인