VLA 갤러리 / 모델 목록 / 산업계 모델

SARA-RT

Google DeepMind · 2023-12

기타산업계 모델미공개이산 토큰

사전학습·파인튜닝된 트랜스포머 로봇 정책의 2차 복잡도 어텐션을 선형 어텐션으로 바꾸는 효율화 기법이다.

논문

SARA-RT: Scaling up Robotics Transformers with Self-Adaptive Robust AttentionarXiv 2312.01990

개요

분류

산업계 모델

유형

기타

발표

2023-12

기관

Google DeepMind

가중치 공개

아니오

파라미터

미공개

구조

백본 LLM

RT-2 백본 (UL2, linear attention 변환)

비전 인코더

—

액션 헤드

RT-2 행동 토큰 (이산 토큰)

청크

미공개

제어 주기

미공개

구조 원문 요약

기존 트랜스포머 정책(RT-2, Point Cloud Transformer)의 어텐션을 up-training으로 linear attention으로 변환

학습

사전학습 가속기

미공개

사전학습 기간

미공개

사전학습 스텝·배치

미공개

GPU·TPU-시간

미공개

파인튜닝

미공개

데이터 종류

해당 없음

데이터 규모

해당 없음

주요 데이터셋

해당 없음

태스크·평가

RT-2 대비 정확도 +10.6%, 속도 +14%(블로그)

로봇

미공개(RT-2·Point Cloud Transformer 정책에 적용)

추론

추론 장치·속도

RT-2 대비 14% 빠름(짧은 이미지 이력 입력 시); 하드웨어 미공개

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · linear attention up-training(지도학습)

베이스 제어

고정 · 베이스 제어 없음 (RT-2 행동 공간: EE 변위·그리퍼·종료; PCT는 Kuka 팔 파지)

비고

핵심 특징

사전학습·파인튜닝된 트랜스포머 로봇 정책의 2차 복잡도 어텐션을 선형 어텐션으로 바꾸는 효율화 기법이다. 짧은 이미지 이력 입력에서 RT-2 대비 10.6% 더 정확하고 14% 빠르다고 보고했다.

비고

효율화 기법(독립 모델 아님)이라 유형 기타. arXiv 2312.01990(2023-12), 블로그 2024-01이라 규칙상 발표 2023-12로 2024~2025 범위 밖. 같은 블로그의 RT-Trajectory: 새 41과제 63% vs RT-2 29%.

검증

미검증