VLA 갤러리 / 모델 목록 / VA

UMI

Stanford University; Columbia University; Toyota Research Institute · 2024-02

VAVA미공개diffusion

GoPro를 단 핸드헬드 그리퍼로 로봇 없이 시연을 모아 로봇 정책으로 옮긴다.

논문

Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild RobotsarXiv 2402.10329

개요

분류

VA

유형

VA

발표

2024-02

기관

Stanford University; Columbia University; Toyota Research Institute

가중치 공개

일부

파라미터

미공개

구조

백본 LLM

없음

비전 인코더

CLIP ViT-B/16 (과제별 ResNet-34·ViT-L/14)

액션 헤드

CNN U-Net 확산 (DDIM 16스텝) (diffusion)

청크

실행 6스텝

제어 주기

10 Hz (던지기 20 Hz)

구조 원문 요약

Diffusion Policy CNN U-Net(DiffusionUnetTimmPolicy, down_dims 256·512·1024) + 비전 인코더 CLIP ViT-B/16(컵·설거지)·ResNet-34(던지기·천, 사전학습 없음)·CLIP ViT-L/14(야외); DDIM 학습 50·추론 16스텝, 행동 Ta 6, 10 Hz(던지기 20 Hz)

학습

사전학습 가속기

해당 없음

사전학습 기간

해당 없음

사전학습 스텝·배치

해당 없음

GPU·TPU-시간

미공개

파인튜닝

과제별(GPU·에폭·배치): 컵 A10G 4장·250·512, 던지기 A10G 4장·350·1024, 천 A10G 4장·100·1024, 설거지 A10G 8장·90·224, 야외 컵 A100 8장·50·512; 시간 미공개; README 'RTX3090 24GB 단일 GPU 학습 확인'

데이터 종류

사람 영상(핸드헬드 GoPro 그리퍼 시연, SLAM 추적)

데이터 규모

과제당 컵 305, 던지기 280, 천 250, 설거지 258 에피소드; 야외 컵 1,400데모(30개 장소, 12인시, 시연자 3명)

주요 데이터셋

UMI 자체 수집

태스크·평가

컵 정렬, 동적 던지기, 양팔 천 접기, 설거지, 야외 컵 정렬(30개 장소)

로봇

단일 팔·양팔 로봇(기종 노트 미기재); 수집은 핸드헬드 그리퍼

추론

추론 장치·속도

하드웨어·지연 미공개

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 사람 핸드헬드 시연 모방학습

베이스 제어

고정 · 베이스 제어 없음 (팔만; 데이터는 핸드헬드 그리퍼 수집)

비고

핵심 특징

GoPro를 단 핸드헬드 그리퍼로 로봇 없이 시연을 모아 로봇 정책으로 옮긴다. 센서·로봇 지연을 맞추며, 시연자 3명이 12인시에 30개 장소에서 1,400데모를 모았다.

비고

그리퍼 BoM 73달러, GoPro·액세서리 298달러; 155° 어안 렌즈·측면 거울·IMU 보조 ORB-SLAM3. 야외 컵 체크포인트(미세조정 CLIP ViT-L) 공개. 저장소 기본 설정(120 에폭, 배치 64)은 논문 과제별 설정과 다름.

검증

확인