VLA 갤러리 / 모델 목록 / 휴머노이드 VLA

HAT

HAT (Humanoid Policy ~ Human Policy, PH²D)

UC San Diego·CMU·University of Washington·MIT·Apple · 2025-03

VA휴머노이드 VLA미공개CVAE

사람 VR 시연과 휴머노이드 텔레옵을 같은 54차원 행동 공간에서 공동학습한다.

논문

Humanoid Policy ~ Human PolicyarXiv 2503.13441

개요

분류

휴머노이드 VLA

유형

VA

발표

2025-03

기관

UC San Diego·CMU·University of Washington·MIT·Apple

가중치 공개

미확인

파라미터

미공개

구조

백본 LLM

없음

비전 인코더

DINOv2 ViT-S (동결)

액션 헤드

사람 중심 54차원 행동 청크 (CVAE)

청크

미공개

제어 주기

미공개

구조 원문 요약

ACT 계열 Human Action Transformer; 동결 DINOv2 ViT-S + 중간층 시각 어댑터(ACT의 ResNet-18 대체); 사람 중심 통합 행동 공간 54차원(머리·양 손목 회전 6D, 손목 위치 xyz, 손가락 끝 10개 3D 키포인트), 행동 청크

학습

사전학습 가속기

미공개

사전학습 기간

미공개

사전학습 스텝·배치

미공개

GPU·TPU-시간

미공개

파인튜닝

해당 없음

데이터 종류

사람 영상 / 실로봇 텔레옵

데이터 규모

사람 시연 26,824개(~3.02M 프레임), 로봇 시연 1,552개(~668k 프레임); 프레임 수는 원문이 30 Hz 가정으로 추정

주요 데이터셋

PH²D(Apple Vision Pro, Meta Quest 3·Apple Vision Pro + ZED 카메라)

태스크·평가

OOD 평가: 컵 전달 52/60, 수평 파지 12/30, 수직 파지 29/70, 붓기 8/10

로봇

Unitree H1 + 6-DoF Inspire 손(양손 조작)

추론

추론 장치·속도

미공개 (제어 주기 미공개)

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 사람·로봇 데이터 모방학습

베이스 제어

고정 · 베이스 제어 없음 (하체 미구동 명시; 머리·손목·손끝 54차원만)

비고

핵심 특징

사람 VR 시연과 휴머노이드 텔레옵을 같은 54차원 행동 공간에서 공동학습한다. 사람 파지 시연은 3.79±0.27초로 텔레옵 19.72±1.65초보다 빨리 모인다.

비고

언어 조건이 없어 유형 VA. README 학습 예시(NEW; MuJoCo 시뮬 예시이며 논문 설정 아님): 단일 GPU(VRAM 24GB 이상), chunk 100, batch 64, 50000 epochs, lr 1e-4.

검증

확인