HPT

MIT CSAIL; Meta FAIR · 2024-09

VAVA트렁크 Small 3.1M, Base 12.6M, Large 50.5M, XLarge 226.8M, Huge 1.1B회귀

이종 로봇·시뮬·사람 영상·배치 로봇 데이터를 공유 트렁크로 사전학습해 엠바디먼트 간 표현을 공유한다.

논문

분류: VA
유형: VA
발표: 2024-09
기관: MIT CSAIL; Meta FAIR
가중치 공개: 일부
파라미터: 트렁크 Small 3.1M, Base 12.6M, Large 50.5M, XLarge 226.8M, Huge 1.1B; Base(언어 포함) 50.6M(README)

백본 LLM: 없음
비전 인코더: ResNet18 stem (동결)
액션 헤드: MLP 회귀 헤드 (회귀)
청크: 8스텝
제어 주기: 미공개
구조 원문 요약: 엠바디먼트별 stem(동결 사전학습 ResNet18 특징 + 고유감각 → 고정 개수 토큰, 예: 16) + 공유 트렁크 트랜스포머 + 헤드(기본 MLP 회귀; 트랜스포머 디코더·확산 헤드도 사용); 행동 지평 8, 관측 지평 4

사전학습 가속기: V100 8–128장(실험 전체 범위, 모델 크기별 분해 없음)
사전학습 기간: 반나절–1개월(실험 전체 범위)
사전학습 스텝·배치: 기본: 80k 반복·배치 256(약 0.65B 토큰); 확장: 배치 2048(반복 수 미포착)
GPU·TPU-시간: 미공개
파인튜닝: 실제 과제당 RTX 2080Ti 1장, 20,000 반복·배치 256, 약 4시간(HPT-Small 트렁크, stem·head 재초기화); 시뮬 20,000 반복·배치 512·lr 1e-5(GPU 미기재)
데이터 종류: 실로봇 텔레옵; 시뮬레이션·합성; 사람 영상; 기타(배치 로봇 FrodoBot-2k)
데이터 규모: 기본: 27개 데이터셋, 16k 궤적, 5M 샘플; 확장: 52개 데이터셋, 270k(Table 2)/200k(본문·프로젝트 페이지) 궤적, 155M 샘플; 파인튜닝 과제당 약 100데모
주요 데이터셋: Open-X 42개(DROID 포함); 시뮬 7종(Drake, MuJoCo, Isaac Sim, PyBullet 등); EPIC-Kitchens, PoCo; FrodoBot-2k
태스크·평가: 시뮬: Meta-World, RoboMimic, Fleet-Tools, Simpler; 실제: Sweep Leftover, Fill Water, Scoop Food, Switch Insertion(반려동물 돌봄·조립 엠바디먼트 2종)
로봇: 사전학습 다수 embodiment(Open-X 등); 실제 파인튜닝 단일 팔 2종

핵심 특징: 이종 로봇·시뮬·사람 영상·배치 로봇 데이터를 공유 트렁크로 사전학습해 엠바디먼트 간 표현을 공유한다. 프로파일한 VA 정책 중 별도 사전학습 단계를 둔 유일한 모델이다.
비고: 파라미터(B)는 Huge 트렁크 1.1B(stem·head 제외, Huge 가중치 미공개). 사람 영상 궤적은 App. A.1 2,000 vs §4.3 300(서로 다른 절). 언어는 선택(T5 토큰)이며 기본 모델은 끔. 실제 실험 헤드는 MLP·확산 둘 다 시도. NeurIPS 2024 Spotlight.
검증: 확인