VLA 갤러리 / 모델 목록 / 참고 기준(2024 이전)

RT-1

Robotics at Google; Everyday Robots; Google Research(Brain Team) · 2022-12

VA참고 기준(2024 이전)35M이산 토큰

사전학습 VLM 없이 언어 지시를 FiLM으로 조건화한 35M 실로봇 정책이다.

논문

RT-1: Robotics Transformer for Real-World Control at ScalearXiv 2212.06817

개요

분류

참고 기준(2024 이전)

유형

VA

발표

2022-12

기관

Robotics at Google; Everyday Robots; Google Research(Brain Team)

가중치 공개

예

파라미터

35M(토크나이저 16M + 트랜스포머 19M; TokenLearner 별도 미기재)

구조

백본 LLM

없음

비전 인코더

EfficientNet-B3 + TokenLearner (16M)

액션 헤드

256구간 이산 토큰 (이산 토큰)

청크

없음 (1스텝)

제어 주기

3 Hz

구조 원문 요약

FiLM EfficientNet-B3 토크나이저(16M) + TokenLearner + 트랜스포머(self-attention 8층, 19M); 행동 차원별 256구간 이산 토큰(팔 7·베이스 3·모드), 청크 없음, 3 Hz

학습

사전학습 가속기

미공개

사전학습 기간

미공개

사전학습 스텝·배치

미공개

GPU·TPU-시간

미공개

파인튜닝

해당 없음(단일 단계 학습)

데이터 종류

실로봇 텔레옵

데이터 규모

약 130k 데모(로봇 13대, 17개월); 데이터 혼합 실험에 시뮬레이션 성공 궤적 518k, Kuka QT-Opt 209k 에피소드 추가

주요 데이터셋

RT-1 자체 수집 데이터; 혼합 실험: 시뮬레이션, Kuka QT-Opt

태스크·평가

실로봇 3,000회 이상 시험; 학습 과제 200개 이상, 지시문 744개; 보지 못한 지시 21개, 보류 과제 53개, 장기 지시 15개

로봇

모바일 매니퓰레이터 13대(사무실 주방; 팔 7변수·베이스 3변수)

추론

추론 장치·속도

3 Hz 제어, 추론 예산 100 ms 미만; 추론 하드웨어 미공개

추론 메모리

미공개

가중치 bf16 (계산)

0.1 GB

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 모방학습(행동 복제). 데이터 혼합 실험에 RL 정책 QT-Opt가 Kuka 로봇으로 모은 209k 에피소드를 섞어 봄

베이스 제어

바퀴형 (베이스 속도·자세 직접 출력) · 정책이 베이스 x·y·yaw 이동을 256구간 이산 토큰으로 직접 출력 (모드 토큰으로 팔·베이스·종료 전환)

비고

핵심 특징

사전학습 VLM 없이 언어 지시를 FiLM으로 조건화한 35M 실로봇 정책이다. 이산 행동 토큰과 로봇 13대·17개월 텔레옵 데이터로 이후 RT 계열의 기준이 됐다.

비고

노트 분류는 VA(언어 조건부지만 사전학습 VLM 없음). 학습 연산은 1차 출처 어디에도 없으므로 2차 출처 연산 수치는 근거 없음으로 취급. 체크포인트 rt1main·rt1multirobot·rt1simreal 공개(Apache).

검증

확인