VLA 갤러리 / 모델 목록 / VA

Robot Utility Models (RUM)

New York University; Hello Robot Inc.; Meta · 2024-09

VAVA미공개이산 토큰

25달러 BoM iPhone 수집 도구로 과제당 약 1,000데모를 약 40개 환경에서 모아 새 환경에 제로샷 배치한다.

논문

Robot Utility Models: General Policies for Zero-Shot Deployment in New EnvironmentsarXiv 2409.05865

개요

분류

VA

유형

VA

발표

2024-09

기관

New York University; Hello Robot Inc.; Meta

가중치 공개

예

파라미터

미공개

구조

백본 LLM

없음

비전 인코더

ResNet34 (HPR 초기화)

액션 헤드

VQ 행동 코드 (이산 토큰)

청크

미공개

제어 주기

미공개

구조 원문 요약

HPR 초기화 ResNet34 비전 인코더 + VQ-BeT 정책(DP 대비 성능·로봇 CPU 지연 우위로 선택); iPhone 카메라 입력

학습

사전학습 가속기

해당 없음

사전학습 기간

해당 없음

사전학습 스텝·배치

해당 없음

GPU·TPU-시간

미공개

파인튜닝

과제별 모델: A100 2장, 24–48시간('all of our models' 문구라 모델당 여부 모호), 500 에폭

데이터 종류

사람 영상(핸드헬드 iPhone Stick-v2 시연)

데이터 규모

과제당 약 1,000데모, 약 40개 환경(환경당 평균 약 25); 문 열기 1,200, 서랍 525

주요 데이터셋

Stick-v2 자체 수집

태스크·평가

캐비닛 문 열기, 서랍 열기, 휴지 집기, 종이봉투 집기, 넘어진 물체 세우기; 보지 못한 환경 제로샷 배치

로봇

Hello Robot Stretch(xArm 7에서도 시험)

추론

추론 장치·속도

Stretch 내장 CPU, iPhone 카메라; 지연 미공개

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

온보드 (Stretch 내장 CPU)

강화학습 · 베이스

강화학습

미사용 · 모방학습. 배치 시 gpt-4o 검증기가 실패를 감지해 재시도

베이스 제어

고정 · 내비게이션은 별도 구성요소로 가정; 정책은 작업 위치에서 EE 상대 6D 행동만 출력

비고

핵심 특징

25달러 BoM iPhone 수집 도구로 과제당 약 1,000데모를 약 40개 환경에서 모아 새 환경에 제로샷 배치한다. 외부 GPT-4o 검증기가 실패를 감지해 재시도시킨다.

비고

검증기 gpt-4o-2024-05-13은 정책 외부 구성요소이며 정책 자체는 언어 입력 없음. 논문은 코드·데이터·모델·하드웨어 설계 공개를 명시.

검증

확인