VLA 갤러리 / 모델 목록 / VA

ALOHA Unleashed

Google DeepMind · 2024-10

VAVA217Mdiffusion

과제별 확산 트랜스포머를 과제당 수천 개 텔레옵 데모로 학습해 신발끈 묶기 같은 정밀 양팔 작업을 해냈다.

논문

ALOHA Unleashed: A Simple Recipe for Robot DexterityarXiv 2410.13126

개요

분류

VA

유형

VA

발표

2024-10

기관

Google DeepMind

가중치 공개

미확인

파라미터

217M(Base), 150M(Small: 인코더 17M + 디코더 37M)

구조

백본 LLM

없음

비전 인코더

ResNet50 × 카메라 4

액션 헤드

확산 디노이저 디코더 (55M) (diffusion)

청크

50스텝 (1초)

제어 주기

50 Hz

구조 원문 요약

카메라 4대별 ResNet50 + 트랜스포머 인코더(85M)·확산 디노이저 디코더(55M); 학습 확산 50스텝, 50행동 청크(1초), 목표 50 Hz 초과

학습

사전학습 가속기

해당 없음

사전학습 기간

해당 없음

사전학습 스텝·배치

해당 없음

GPU·TPU-시간

미공개

파인튜닝

과제별 모델: TPUv5e 64칩(JAX 데이터 병렬), 배치 256, 2M 스텝(약 265시간); Adam, weight decay 0.001, warmup 5000 스텝 후 lr 1e-4

데이터 종류

실로봇 텔레옵; 시뮬레이션·합성(시뮬 원격조작)

데이터 규모

Shirt 8,658(Easy 5,345·Messy 3,313), Lace 5,133(2,212·2,921), FingerReplace 5,247, GearInsert 4,005, RandomKitchen 3,198(in-domain 216); 실제 총 26k+ 에피소드; 시뮬 2,000+(서론)/522·201·550(Table 3)

주요 데이터셋

자체 ALOHA 2 수집

태스크·평가

실제: ShirtEasy·ShirtMessy, LaceEasy·LaceMessy, FingerReplace, GearInsert-1·2·3, RandomKitchen(Bowl·+Cup·+Fork); 시뮬: SingleInsertion, DoubleInsertion, MugOnPlate

로봇

ALOHA 2 양팔(로봇 10대, 건물 2곳)

추론

추론 장치·속도

순전파+반복 디노이징 0.043초(RTX 4090)

추론 메모리

미공개

가중치 bf16 (계산)

0.4 GB

실행 위치

로컬 PC

강화학습 · 베이스

강화학습

미사용 · 모방학습(확산)

베이스 제어

고정 · 베이스 제어 없음 (ALOHA 2 고정 양팔)

비고

핵심 특징

과제별 확산 트랜스포머를 과제당 수천 개 텔레옵 데모로 학습해 신발끈 묶기 같은 정밀 양팔 작업을 해냈다. 운영자 35명이 8개월간 로봇 10대로 26k+ 에피소드를 모았다.

비고

시뮬 데모 수는 서론 '2,000+'와 Table 3 과제별 값의 관계가 논문에 설명 없음. '2,000+'는 초록이 아닌 서론 문장(수정 반영). 시뮬 데모도 원격조작 수집.

검증

수정 반영