VLA 갤러리 / 모델 목록 / 휴머노이드 전신 제어기

HumanPlus HST

HumanPlus HST (Humanoid Shadowing Transformer)

Stanford University · 2024-06

VA휴머노이드 전신 제어기미공개RL 정책

사람 동작을 실시간으로 휴머노이드에 옮기는 섀도잉용 저수준 트래커다.

논문

HumanPlus: Humanoid Shadowing and Imitation from HumansarXiv 2406.10454

개요

분류

휴머노이드 전신 제어기

유형

VA

발표

2024-06

기관

Stanford University

가중치 공개

미확인

파라미터

미공개 (repo 기본 4층·128차원·4헤드)

구조

백본 LLM

없음

비전 인코더

—

액션 헤드

관절 위치 목표 (19차원) (RL 정책)

청크

미공개

제어 주기

50 Hz

구조 원문 요약

디코더 전용 트랜스포머(repo 기본 4층·latent 128·4헤드, dropout 0.1), 문맥 8스텝; 고유감각 + 목표 자세 → 19차원 관절 위치 목표, 50 Hz

학습

사전학습 가속기

미공개 (Isaac Gym PPO, repo)

사전학습 기간

미공개

사전학습 스텝·배치

max_iterations 15000 · env당 32 스텝, 2048 env (repo H1 config)

GPU·TPU-시간

미공개

파인튜닝

해당 없음

데이터 종류

모션캡처

데이터 규모

AMASS 40시간, 11,000개 이상 시퀀스†

주요 데이터셋

AMASS

태스크·평가

실시간 전신 섀도잉(원격조작); HIT 결합 자율 태스크 Fold Clothes 100%(40데모), Warehouse 90%, Wear a Shoe and Walk 60%

로봇

Unitree H1 기반 33-DoF 휴머노이드 + Inspire-Robots RH56DFX 손, 키 180cm

추론

추론 장치·속도

50 Hz; 섀도잉 시 사람 자세 추정·리타게팅은 RTX 4090에서 25 fps, 손 자세 추정 10 fps

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

미공개

강화학습 · 베이스

강화학습

사용 (RL 제어기 학습) · Isaac Gym PPO(환경 2,048개, 15,000 반복)로 섀도잉 트랜스포머 학습

베이스 제어

휴머노이드 보행 (RL 정책이 직접 구동) · HST가 목표 전후·좌우·yaw 속도·관절 목표를 받아 다리 포함 19차원 관절 위치 직접 출력 (보행·쪼그려 앉기)

비고

핵심 특징

사람 동작을 실시간으로 휴머노이드에 옮기는 섀도잉용 저수준 트래커다. 상위 HIT가 25 Hz로 목표 자세를 비동기 전달하는 2단 구조의 하위 층이다.

비고

'11,000개 이상 시퀀스'는 검증 추출에서 재확인하지 못해 † 표시. 논문 본문에 시뮬레이터·GPU·시간·파라미터 없음(Isaac Gym·env 수·반복 수는 repo). 코드·데이터 공개, 체크포인트 미확인.

검증

확인