VLA 갤러리 / 모델 목록 / 참고 기준(2024 이전)

RT-2-X

Open X-Embodiment Collaboration(21개 기관) · 2023-10

VLA참고 기준(2024 이전)55B이산 토큰

RT-2를 원 VLM 데이터와 OXE 로봇 혼합을 약 1:1로 섞어 공동 파인튜닝했다.

논문

Open X-Embodiment: Robotic Learning Datasets and RT-X ModelsarXiv 2310.08864

개요

분류

참고 기준(2024 이전)

유형

VLA

발표

2023-10

기관

Open X-Embodiment Collaboration(21개 기관)

가중치 공개

아니오

파라미터

55B(OXE 논문 Table II에 5B 변형도 있음)

구조

백본 LLM

UL2 32B 인코더-디코더 (PaLI-X 55B)

비전 인코더

ViT (PaLI-X)

액션 헤드

256구간 텍스트 토큰 (이산 토큰)

청크

없음 (1스텝)

제어 주기

3–10 Hz (로봇별)

구조 원문 요약

ViT + UL2 VLM 백본(RT-2 방식); 8차원(종료 1·말단 이동 7) 256구간 텍스트 토큰

학습

사전학습 가속기

미공개(기존 VLM 사용)

사전학습 기간

미공개

사전학습 스텝·배치

미공개

GPU·TPU-시간

미공개

파인튜닝

미공개; 원 VLM 데이터와 로봇 혼합 약 1:1 공동 파인튜닝

데이터 종류

실로봇 텔레옵 등(기여 데이터셋별 수집 방식 상이); 웹 비전-언어

데이터 규모

OXE 학습 혼합(9개 embodiment) + 원 VLM 데이터, 약 1:1; OXE 전체 1M+ 궤적·22개 embodiment

주요 데이터셋

OXE 하위셋: RT-1, QT-Opt, Bridge, Task Agnostic Robot Play, Jaco Play, Cable Routing, RoboTurk, NYU VINN, Austin VIOLA, Berkeley Autolab UR5, TOTO, Language Table; 원 VLM 학습 데이터

태스크·평가

로봇 6종 3,600회 평가(RT-1-X와 공동); 창발 스킬 RT-2 대비 약 3배

로봇

학습 혼합 9개 매니퓰레이터(OXE 전체 22개 embodiment 중); 평가 로봇 6종

추론

추론 장치·속도

클라우드 서비스 호스팅·네트워크 질의, 로봇별 3–10 Hz

추론 메모리

미공개

가중치 bf16 (계산)

110 GB

실행 위치

클라우드

강화학습 · 베이스

강화학습

미사용 · VLM·로봇 데이터 공동 파인튜닝(지도학습)

베이스 제어

고정 · 베이스 제어 없음 (행동 8차원: 종료 1 + EE 이동 7; Google 모바일 로봇도 팔만)

비고

핵심 특징

RT-2를 원 VLM 데이터와 OXE 로봇 혼합을 약 1:1로 섞어 공동 파인튜닝했다. 창발 스킬 평가에서 RT-2의 약 3배 성능을 보였다.

비고

README에 RT-2-X 체크포인트 없음. 5B 변형은 검증 노트의 신규 사실. 기관 표기 수정 반영. 파라미터(B)는 55B.

검증

수정 반영