VLA 갤러리 / 모델 목록 / 산업계 모델

AutoRT

Google DeepMind · 2024-01

기타산업계 모델해당 없음기타

로봇 함대를 LLM·VLM으로 조율해 실환경 데이터를 대규모로 수집하는 시스템이며 모델이 아니다.

논문

AutoRT: Embodied Foundation Models for Large Scale Orchestration of Robotic AgentsarXiv 2401.12963

개요

분류

산업계 모델

유형

기타

발표

2024-01

기관

Google DeepMind

가중치 공개

아니오

파라미터

해당 없음

구조

백본 LLM

PaLI·FlexCap VLM + LLM (이름 미기재)

비전 인코더

—

액션 헤드

RT-1·RT-2·스크립트·텔레옵 정책으로 수집 (기타)

청크

미공개

제어 주기

미공개

구조 원문 요약

시스템: VLM(PaLI, FlexCap)이 장면 서술 → LLM이 과제 제안·필터 → RT-1/RT-2/스크립트/텔레옵 정책으로 수집

학습

사전학습 가속기

해당 없음

사전학습 기간

해당 없음

사전학습 스텝·배치

해당 없음

GPU·TPU-시간

미공개

파인튜닝

해당 없음(수집 데이터로 RT-1 co-finetuning, 연산 미공개)

데이터 종류

실로봇 자율 수집(스크립트 정책·텔레옵·RT-2)

데이터 규모

77,000 trials, 6,650 unique instructions, 7개월; scripted 73,293 episodes(성공 21%), teleop 3,060(82%), RT-2 936(4.7%)

주요 데이터셋

AutoRT 수집 데이터(자체)

태스크·평가

RT-1 co-finetuning 시 높이 일반화 집기 0%→12.5%, 닦기 10%→30%

로봇

모바일 매니퓰레이터 20대 이상 동시 운용(블로그: 총 52대), 사무실 빌딩 4곳

추론

추론 장치·속도

해당 없음

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 데이터 수집 시스템(RT-1·RT-2 정책·스크립트·텔레옵으로 수집)

베이스 제어

고정 · 베이스 이동은 별도 내비게이션 스택 (지도 기반 목표 샘플링); 수집 정책(RT-2·스크립트·텔레옵)은 조작만

비고

핵심 특징

로봇 함대를 LLM·VLM으로 조율해 실환경 데이터를 대규모로 수집하는 시스템이며 모델이 아니다. 수정한 Asimov 원칙 기반 'robot constitution'으로 과제를 안전성 기준으로 걸러낸다.

비고

데이터 수집 시스템(모델 아님)이라 유형 기타. 감독 비율: 모바일 1인당 3~5대, 고정형 1인당 최대 8대. 블로그는 'instructions' 대신 'tasks'로 표기.

검증

미검증