VLA 갤러리 / 모델 목록 / 휴머노이드 전신 제어기

GMT

GMT (General Motion Tracking)

UC San Diego·Simon Fraser University · 2025-06

VA휴머노이드 전신 제어기미공개RL 정책

적응 샘플링(10초 초과 모션을 10초로 자르고 완료도로 가중)과 MoE로 단일 정책이 다양한 사람 동작을 추적한다.

논문

GMT: General Motion Tracking for Humanoid Whole-Body ControlarXiv 2506.14770

개요

분류

휴머노이드 전신 제어기

유형

VA

발표

2025-06

기관

UC San Diego·Simon Fraser University

가중치 공개

예

파라미터

미공개

구조

백본 LLM

없음

비전 인코더

—

액션 헤드

관절 목표 (RL 정책)

청크

미공개

제어 주기

50 Hz

구조 원문 요약

Motion Mixture-of-Experts MLP(전문가 네트워크 묶음 + 게이팅 네트워크) + 합성곱 모션 인코더(미래 프레임 → 128차원 잠재); 학생은 고유감각 20스텝 이력으로 DAgger; 시뮬 500 Hz·제어 50 Hz

학습

사전학습 가속기

RTX 4090 × 1

사전학습 기간

교사 약 3일 + 학생 약 1일

사전학습 스텝·배치

4096 병렬 env (IsaacGym); 스텝 미공개

GPU·TPU-시간

96 (환산 · RTX 4090-시간 (1 × (약 3일 + 약 1일) × 24 h))

파인튜닝

해당 없음

데이터 종류

모션캡처

데이터 규모

AMASS·LAFAN1 부분집합 8925 클립·33.12시간

주요 데이터셋

AMASS, LAFAN1

태스크·평가

MPKPE·MPJPE·속도 추적 오차 평가; 실기 Unitree G1 범용 동작 추적

로봇

Unitree G1(23 DoF, 키 1.32 m)

추론

추론 장치·속도

제어 50 Hz

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

미공개

강화학습 · 베이스

강화학습

사용 (RL 제어기 학습) · RL 교사(약 3일) → DAgger 학생(약 1일), RTX 4090 1장

베이스 제어

휴머노이드 보행 (RL 정책이 직접 구동) · 전신 모션 추적 정책이 참조 모션을 따라 23 DoF 관절 목표 직접 출력 (보행·달리기·킥·옆걸음)

비고

핵심 특징

적응 샘플링(10초 초과 모션을 10초로 자르고 완료도로 가중)과 MoE로 단일 정책이 다양한 사람 동작을 추적한다. 단일 RTX 4090에서 교사 약 3일·학생 약 1일로 학습한다.

비고

HTML 추출의 '33 days'·'11 day'·'89,258 clips'는 오독이며 PDF 값이 맞음. MuJoCo sim2sim용 사전학습 체크포인트 공개.

검증

확인