Humanoid-VLA

Westlake University·Westlake Robotics·Zhejiang University · 2025-02

VLA휴머노이드 VLALlama3-70B 기반이산 토큰

언어와 1인칭 시각으로 전신 모션을 생성하고 RL 트래커가 실행하는 계층 구조다.

논문

백본 LLM: Llama 3 70B
비전 인코더: —
액션 헤드: 부위별 VQ 모션 토큰 (5부위) (이산 토큰)
청크: 미공개
제어 주기: 미공개
구조 원문 요약: Llama3-70B 기반; 계층적 VQ 모션 토크나이저(좌·우 다리, 몸통, 좌·우 팔 5개 부위 토큰, 코드북 1,024); 비전은 언어 토큰을 쿼리로 cross-attention; 생성 모션을 IsaacGym PPO 목표조건 RL 정책이 관절 명령으로 변환

사전학습 가속기: H100 × 8
사전학습 기간: 216시간
사전학습 스텝·배치: 스텝 미공개 · 장치당 배치 4 (lr 2e-5, cosine, warmup 0.01)
GPU·TPU-시간: 1,728 (환산 · H100-시간 (8 × 216 h))
파인튜닝: 미공개; 하위 RL 트래커는 IsaacGym(env 수·GPU·시간 미공개)
데이터 종류: 모션캡처 / 사람 영상 / 시뮬레이션·합성
데이터 규모: 모션캡처 29K 클립·0.3M 프레임·4.1 h; 온라인 영상 0.8M 클립·541M 프레임·7515.7 h; 합성 100K 클립·16M 프레임·227.7 h; Total 0.929M 클립·557.3M 프레임·7790.2 h
주요 데이터셋: 자체 구축(모션캡처·온라인 영상·합성 모션); 평가 HumanML3D, Humanoid-S
태스크·평가: 실 Unitree G1 8태스크 × 10회(공차기 9/10; 장애물 회피·물체 향해 돌기·물체 잡기·손 흔들기·점프·춤·펀치); HumanML3D FID 0.467±.018, DIV 4.585±.086; Humanoid-S 벤치마크(수동 주석 영상 4,646개) 신설
로봇: Unitree G1 전신

강화학습: 일부 (RL 하위 제어기 결합) · LLM 모션 토큰 생성은 지도학습, 실행은 IsaacGym PPO 목표조건 RL 트래커
베이스 제어: 휴머노이드 보행 (명령·잠재 → RL 보행 제어기) · VLA가 다리 포함 부위별 모션 토큰 생성 → 목표조건 RL 전신 제어기가 PD 관절 목표로 변환 (장애물 회피 이동·점프·킥)

핵심 특징: 언어와 1인칭 시각으로 전신 모션을 생성하고 RL 트래커가 실행하는 계층 구조다. <Track>·<Time>·<Occlusion>·<State> 자기지도 증강으로 수동 라벨 없이 기존 연구 대비 25배 규모 데이터를 만든다.
비고: Total 행은 노트에서 빠졌으나 검증에서 HTML·PDF 모두 실재 확인(NEW). 원문 Total 시간 7790.2 h는 세 행의 시간 값과 합이 맞지 않음(클립·프레임 합은 일치); 원문 그대로 옮김. 파라미터(B)는 총 파라미터 미공개로 null(기반 LLM Llama3-70B).
검증: 확인