UH-1 (Humanoid-X)

USC·UC Berkeley·Toyota Research Institute · 2024-12

기타휴머노이드 VLA미공개이산 토큰

비전 입력 없이 언어를 휴머노이드 동작으로 바꾸는 VLA 인접 모델이다.

논문

백본 LLM: 없음
비전 인코더: —
액션 헤드: VQ-VAE 행동 토큰 (이산 토큰)
청크: 미공개
제어 주기: 50 fps
구조 원문 요약: 18층·16헤드·1,024차원 트랜스포머 + VQ-VAE 행동 토크나이저(코드북 2048 × 512, 다운샘플 k=4); 텍스트→키포인트(목표조건 RL 정책, 폐루프) 또는 텍스트→관절 목표(개루프, 하체는 별도 보행 정책), 행동 시퀀스 50 fps

사전학습 가속기: RTX 6000 Ada × 1
사전학습 기간: 전체 Humanoid-X: 토크나이저 약 40시간 + 트랜스포머 약 400시간 (HumanoidML3D 부분집합: 약 8시간 + 약 30시간)
사전학습 스텝·배치: 미공개
GPU·TPU-시간: 440 (환산 · RTX 6000 Ada-시간 (1 × (약 40 h + 약 400 h), 전체 Humanoid-X))
파인튜닝: 해당 없음; 하위 RL 정책은 Isaac Gym 6192 env, PPO(γ 0.99, λ 0.95), GPU·시간 미공개
데이터 종류: 사람 영상 / 모션캡처
데이터 규모: Humanoid-X 163.8K 모션 샘플·240.3시간 영상·20.7M 프레임, 어휘 3206 단어
주요 데이터셋: Humanoid-X(AIST, AMASS, Charades, EgoBody, GRAB, HAA500, HuMMan, IDEA400, Kinetics700, MotionX Video, YouTube; 캡션 Video-LLaMA)
태스크·평가: 실 Unitree H1-2 언어 명령 12개 × 10회, 두 모드 모두 '거의 100%'(Table 3 태스크별 80~100%)
로봇: Unitree H1-2 전신 자세 제어

강화학습: 일부 (RL 하위 제어기 결합) · 트랜스포머는 지도학습, 키포인트 모드 실행은 IsaacGym PPO 목표조건 RL 정책(환경 6,192개)
베이스 제어: 고정 · 실로봇은 텍스트→행동 개루프로 상체 자세만 제어, 하체는 별도 사전학습 보행 정책 (평가 과제에 보행 없음)

핵심 특징: 비전 입력 없이 언어를 휴머노이드 동작으로 바꾸는 VLA 인접 모델이다. 인터넷 사람 영상을 휴머노이드 동작으로 리타게팅한 Humanoid-X로 학습한다.
비고: 비전 입력이 없는 VLA 인접 모델이라 유형 '기타'. 발표 시 데이터·코드 미공개('will fully release in the future'), 현재 상태 미확인. HTML 추출의 어휘 '11,897'은 오류이며 PDF 원문 3206.
검증: 확인