VLA 갤러리 / 모델 목록 / 산업계 모델

GR-2

ByteDance Research · 2024-10

VLA산업계 모델230MCVAE

웹 비디오 38M clips로 미래 프레임 생성을 사전학습한 뒤 로봇 궤적으로 비디오·행동을 함께 파인튜닝한다.

논문

GR-2: A Generative Video-Language-Action Model with Web-Scale Knowledge for Robot ManipulationarXiv 2410.06158

개요

분류

산업계 모델

유형

VLA

발표

2024-10

기관

ByteDance Research

가중치 공개

미확인

파라미터

230M(학습 95M); 스케일링 변형 학습 파라미터 30M(S)/95M(B)/312M(L)/719M(XL)

구조

백본 LLM

없음 (VLM 없음)

비전 인코더

VQGAN 이미지 토큰

액션 헤드

cVAE 행동 생성 → WBC 궤적 최적화 (CVAE)

청크

미공개

제어 주기

200 Hz (실행)

구조 원문 요약

GPT형 트랜스포머(VLM 없음): 고정 텍스트 인코더 + VQGAN 이미지 토큰; 행동은 cVAE 생성(청크 길이 미공개) → WBC 궤적 최적화로 관절 명령

학습

사전학습 가속기

미공개

사전학습 기간

미공개

사전학습 스텝·배치

미공개

GPU·TPU-시간

미공개

파인튜닝

미공개

데이터 종류

사람 영상 + 공개 로봇 데이터 + 실로봇

데이터 규모

사전학습 38M video clips, 50B+ tokens; 로봇 105과제 약 40,000 traj(과제당 평균 400); bin picking 55개 물체 약 94,000 traj

주요 데이터셋

Howto100M, Ego4D, Something-Something V2, EPIC-KITCHENS, Kinetics-700, RT-1, Bridge

태스크·평가

105 테이블탑 과제(8개 스킬) 평균 97.7%; 과제당 50 traj만으로 73.9%; bin picking 122개 물체 79.0%(GR-1 33.3%); CALVIN 1과제 98.6%, 5과제 85.9%

로봇

7-DoF Kinova Gen3 + Robotiq 2F-85

추론

추론 장치·속도

WBC 궤적 최적화 후 실로봇 200Hz 실행; 모델 추론 지연·하드웨어 미공개

추론 메모리

미공개

가중치 bf16 (계산)

0.5 GB

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 영상 생성 사전학습 + 모방학습

베이스 제어

고정 · 베이스 제어 없음 (Kinova 팔)

비고

핵심 특징

웹 비디오 38M clips로 미래 프레임 생성을 사전학습한 뒤 로봇 궤적으로 비디오·행동을 함께 파인튜닝한다. 학습 파라미터를 30M에서 719M까지 키우며 스케일링을 실험했다.

비고

파라미터(B)는 기본 모델 총량 230M 기준(XL은 학습 파라미터 719M만 공개, 총량 미공개). 토큰 표기는 'over 50 billion'과 'approximately 50 billion'이 혼재. 공개 저장소를 찾지 못함(가중치 공개 여부 검증 확인불가). arXiv v1 2024-10-08.

검증

확인