VLA 갤러리 / 모델 목록 / 휴머노이드 VLA

EgoVLA

UIUC·MIT·NVIDIA·UC San Diego · 2025-07

VLA휴머노이드 VLANVILA-2B + 행동 헤드 300M회귀

사람 1인칭 영상으로 사전학습한 뒤 로봇 시연으로 미세조정해 사람 손 동작 공간을 휴머노이드 양손 조작으로 옮긴다.

논문

EgoVLA: Learning Vision-Language-Action Models from Egocentric Human VideosarXiv 2507.12440

개요

분류

휴머노이드 VLA

유형

VLA

발표

2025-07

기관

UIUC·MIT·NVIDIA·UC San Diego

가중치 공개

미확인

파라미터

NVILA-2B + 행동 헤드 300M (총 미공개)

구조

백본 LLM

NVILA-2B 내 LLM (미기재)

비전 인코더

NVILA 비전 인코더

액션 헤드

트랜스포머 행동 헤드 300M (손목 + MANO) (회귀)

청크

30스텝 (1초)

제어 주기

30 Hz

구조 원문 요약

NVILA-2B VLM + 300M 트랜스포머 행동 헤드(인코더 6층, hidden 1536); 행동 = 손목 자세(3D 위치 + rot6D) + MANO 손 관절 상위 15 PCA 성분, 1초 호라이즌(30 Hz × 30스텝)

학습

사전학습 가속기

미공개

사전학습 기간

미공개

사전학습 스텝·배치

미공개

GPU·TPU-시간

미공개

파인튜닝

미공개; 태스크당 로봇 시연 100개

데이터 종류

사람 영상 / 시뮬레이션·합성

데이터 규모

이미지-행동 쌍 약 500,000개; 로봇 시연 태스크당 100개

주요 데이터셋

HOI4D 영상 4,000개, HOT3D 833분, HoloAssist 166시간(1/10 서브샘플), TACO 모션 시퀀스 2,317개

태스크·평가

Ego Humanoid Manipulation Benchmark 12태스크(단기 7·장기 5); 학습 배경 단기 평균 77.78%, 장기 45.93%

로봇

시뮬 Unitree H1 + Inspire 손(NVIDIA Isaac Lab)

추론

추론 장치·속도

30 Hz 행동 호라이즌; 하드웨어 미공개

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 사람 영상 사전학습 + 모방학습

베이스 제어

고정 · 베이스 제어 없음 (상체만: 팔 EE IK + 손 관절, 36차원; 시뮬 H1 다리 미제어)

비고

핵심 특징

사람 1인칭 영상으로 사전학습한 뒤 로봇 시연으로 미세조정해 사람 손 동작 공간을 휴머노이드 양손 조작으로 옮긴다.

비고

학습 설정은 보충자료로 미뤄 본문에 없음(검증 NOT FOUND, 보충자료 접근 실패). 파라미터(B)는 총 파라미터 미공개로 null. 데이터 시간은 전체 합계가 없어 null.

검증

확인