VLA 갤러리 / 모델 목록 / 휴머노이드 전신 제어기

OmniH2O

Carnegie Mellon University·Shanghai Jiao Tong University · 2024-06

VA휴머노이드 전신 제어기미공개RL 정책

VR·RGB 키포인트로 전신을 원격조작하는 트래커이자, 모은 시연으로 자율 정책을 학습하는 플랫폼이다.

논문

OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and LearningarXiv 2406.08858

개요

분류

휴머노이드 전신 제어기

유형

VA

발표

2024-06

기관

Carnegie Mellon University·Shanghai Jiao Tong University

가중치 공개

미확인

파라미터

미공개 (MLP [512, 256, 128])

구조

백본 LLM

없음

비전 인코더

—

액션 헤드

관절 목표 (RL 정책)

청크

미공개

제어 주기

50 Hz (PD 200 Hz)

구조 원문 요약

MLP [512, 256, 128](GRU·LSTM 학생 변형 실험), 학생 25스텝 이력; VR 또는 RGB 키포인트 입력 → 관절 목표, 정책 50 Hz·PD 200 Hz

학습

사전학습 가속기

미공개 (Isaac Gym preview 4, repo)

사전학습 기간

미공개

사전학습 스텝·배치

4096 env (repo 학습 명령)

GPU·TPU-시간

미공개

파인튜닝

해당 없음

데이터 종류

모션캡처 / 실로봇 텔레옵

데이터 규모

리타게팅·증강 AMASS 14k 시퀀스(시뮬 평가 세트); OmniH2O-6 실제 텔레옵 시연 총 40분(태스크별 8,535~18,436 프레임)

주요 데이터셋

AMASS(리타게팅·증강), OmniH2O-6

태스크·평가

시뮬 추적 지표; 실제 자율 6태스크(OmniH2O-6, Diffusion Policy·ResNet BC)

로봇

Unitree H1 + 손

추론

추론 장치·속도

정책 50 Hz, PD 제어기 200 Hz

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

미공개

강화학습 · 베이스

강화학습

사용 (RL 제어기 학습) · RL 교사(특권 정보) → DAgger 학생 증류

베이스 제어

휴머노이드 보행 (RL 정책이 직접 구동) · 전신 RL 정책이 키포인트·조이스틱 목표를 받아 다리 포함 관절 목표 출력 (조이스틱 전후 보행, 'Walk forward 0.5m')

비고

핵심 특징

VR·RGB 키포인트로 전신을 원격조작하는 트래커이자, 모은 시연으로 자율 정책을 학습하는 플랫폼이다. GPT-4o 연동 자율 동작도 보였다.

비고

README 명령에 short_history_length 0/5/50 변형도 있음. 코드 CC BY-NC 4.0, 체크포인트 미확인. arXiv v1 2024-06-13, CoRL 2024. 데이터 시간은 분 단위(40분)라 null. 검증은 repo 값(Isaac Gym·env·라이선스·이력)만 대상.

검증

확인