VLA 갤러리 / 모델 목록 / VA

EgoMimic

Georgia Institute of Technology; Stanford University · 2024-10

VAVA미공개회귀

Project Aria 안경으로 찍은 1인칭 사람 시연과 로봇 텔레옵을 한 정책으로 공동학습한다.

논문

EgoMimic: Scaling Imitation Learning via Egocentric VideoarXiv 2410.24221

개요

분류

VA

유형

VA

발표

2024-10

기관

Georgia Institute of Technology; Stanford University

가중치 공개

미확인

파라미터

미공개

구조

백본 LLM

없음

비전 인코더

ResNet18†

액션 헤드

SE(3) 포즈 + 관절 디코더 (회귀)

청크

100스텝†

제어 주기

25 Hz (추론 1 Hz)

구조 원문 요약

ACT 기반 공유 트랜스포머(인코더 4·디코더 7층, hidden 512, FF 3200, 8헤드; ResNet18†) + 사람·로봇 공용 SE(3) 포즈 디코더 + 로봇 관절 디코더; 청크 100†

학습

사전학습 가속기

해당 없음(사람·로봇 공동학습)

사전학습 기간

해당 없음

사전학습 스텝·배치

해당 없음

GPU·TPU-시간

미공개

파인튜닝

과제별: A40 4장, 120,000 반복, 전역 배치 128, 약 24시간('All models'); lr 5e-5

데이터 종류

사람 영상; 실로봇 텔레옵

데이터 규모

사람: Object-in-Bowl 1,400(60분), Groceries 160(80분), Laundry 590(100분); 로봇: 270(120분), 300(300분), 430(300분)

주요 데이터셋

Project Aria 자체 수집 사람 데이터; 자체 로봇 텔레옵

태스크·평가

Continuous Object-in-Bowl, Groceries, Laundry

로봇

ViperX 300 S 양팔 + Project Aria 안경(사람 데이터)

추론

추론 장치·속도

RTX 4090 데스크톱에서 추론 1 Hz, 제어 25 Hz

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

로컬 PC

강화학습 · 베이스

강화학습

미사용 · 사람·로봇 데이터 공동 모방학습

베이스 제어

고정 · 베이스 제어 없음 (ViperX 고정 양팔)

비고

핵심 특징

Project Aria 안경으로 찍은 1인칭 사람 시연과 로봇 텔레옵을 한 정책으로 공동학습한다. Object-in-Bowl 기준 사람 데이터는 60분에 1,400데모, 로봇 데이터는 120분에 270데모다.

비고

ResNet18·청크 100은 검증 추출에서 찾지 못해 확인불가(†). 수집 소요는 분 단위로만 공개돼 시간(h) 칸은 비움.

검증

확인