VLA 갤러리 / 모델 목록 / 참고 기준(2024 이전)

RT-1-X

Open X-Embodiment Collaboration(21개 기관) · 2023-10

VA참고 기준(2024 이전)35M이산 토큰

RT-1 구조를 OXE 9개 embodiment 혼합 데이터로 학습한 교차 embodiment 모델이다.

논문

Open X-Embodiment: Robotic Learning Datasets and RT-X ModelsarXiv 2310.08864

개요

분류

참고 기준(2024 이전)

유형

VA

발표

2023-10

기관

Open X-Embodiment Collaboration(21개 기관)

가중치 공개

예

파라미터

35M

구조

백본 LLM

없음

비전 인코더

EfficientNet-B3 + TokenLearner

액션 헤드

256구간 이산 토큰 (이산 토큰)

청크

없음 (1스텝)

제어 주기

3–10 Hz (로봇별)

구조 원문 요약

RT-1 구조(FiLM EfficientNet-B3 + TokenLearner + 트랜스포머); 8차원(종료 1·말단 이동 7) 256구간 토큰

학습

사전학습 가속기

미공개

사전학습 기간

미공개

사전학습 스텝·배치

미공개

GPU·TPU-시간

미공개

파인튜닝

미공개

데이터 종류

실로봇 텔레옵 등(기여 데이터셋별 수집 방식 상이)

데이터 규모

OXE 1M+ 실로봇 궤적, 22개 embodiment, 60개 데이터셋(34개 연구실), 527 스킬(160,266 과제); 학습 혼합은 9개 embodiment

주요 데이터셋

OXE 하위셋: RT-1, QT-Opt, Bridge, Task Agnostic Robot Play, Jaco Play, Cable Routing, RoboTurk, NYU VINN, Austin VIOLA, Berkeley Autolab UR5, TOTO, Language Table

태스크·평가

로봇 6종 3,600회 평가; 소규모 데이터 도메인 평균 성공률이 원 방법·RT-1보다 50% 높음

로봇

학습 혼합 9개 매니퓰레이터(OXE 전체 22개 embodiment 중); 평가 로봇 6종

추론

추론 장치·속도

로봇별 3–10 Hz, RT-1-X는 로컬 실행

추론 메모리

미공개

가중치 bf16 (계산)

0.1 GB

실행 위치

로컬 PC

강화학습 · 베이스

강화학습

미사용 · 모방학습. 학습 혼합에 QT-Opt(RL 정책이 수집) 데이터셋이 포함됨

베이스 제어

고정 · 베이스 제어 없음 (행동 8차원: 종료 1 + EE 이동 7; Google 모바일 로봇도 팔만)

비고

핵심 특징

RT-1 구조를 OXE 9개 embodiment 혼합 데이터로 학습한 교차 embodiment 모델이다. 소규모 데이터 도메인에서 원 방법과 RT-1보다 평균 성공률이 50% 높았다.

비고

TF·JAX 체크포인트 공개(open_x_embodiment README). 기관 표기를 'Google DeepMind + 21개 기관'에서 21개 기관 협업 전체로 수정 반영.

검증

수정 반영