VLA 갤러리 / 모델 목록 / 휴머노이드 전신 제어기

TWIST

TWIST (Teleoperated Whole-Body Imitation System)

Stanford University·Simon Fraser University · 2025-05

VA휴머노이드 전신 제어기미공개RL 정책

PPO 특권 교사와 RL+BC 공동 최적화 학생으로 모캡 기반 전신 원격조작을 한다.

논문

TWIST: Teleoperated Whole-Body Imitation SystemarXiv 2505.02833

개요

분류

휴머노이드 전신 제어기

유형

VA

발표

2025-05

기관

Stanford University·Simon Fraser University

가중치 공개

예

파라미터

미공개

구조

백본 LLM

없음

비전 인코더

—

액션 헤드

관절 위치 명령 (RL 정책)

청크

미공개

제어 주기

50 Hz (PD 1000 Hz)

구조 원문 요약

MLP [512, 512, 256, 128](SiLU, LayerNorm) + Conv1d 모션 인코더(latent 128), 이력 10; 모캡 참조 → 관절 위치 명령 50 Hz, PD 1000 Hz; repo의 Transformer 블록은 주석 처리

학습

사전학습 가속기

RTX 4090 × 1 (README)

사전학습 기간

1~2일 (README)

사전학습 스텝·배치

교사 max_iterations 30_002, 4096 env (repo)

GPU·TPU-시간

미공개

파인튜닝

해당 없음

데이터 종류

모션캡처

데이터 규모

AMASS·OMOMO 15,000+ 클립(약 42시간) + 사내 모캡 150 클립(약 0.5시간)

주요 데이터셋

AMASS, OMOMO, 사내 모션캡처

태스크·평가

전신 조작·다리 사용 조작·보행·표현 동작 원격조작

로봇

Unitree G1(29 DoF); Booster T1은 시뮬만

추론

추론 장치·속도

RTX 4090에서 관절 위치 명령 50 Hz, PD 1000 Hz; OptiTrack 모캡 120 Hz; 원격조작 지연 약 0.9초

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

로컬 PC (RTX 4090)

강화학습 · 베이스

강화학습

사용 (RL 제어기 학습) · PPO 교사 → RL·BC 공동 최적화 학생

베이스 제어

휴머노이드 보행 (RL 정책이 직접 구동) · 모캡 참조(관절 위치·루트 속도) 추적 → 전신 관절 위치 명령 50 Hz (옆걸음·뒷걸음·웅크려 통과·킥)

비고

핵심 특징

PPO 특권 교사와 RL+BC 공동 최적화 학생으로 모캡 기반 전신 원격조작을 한다. 단일 RTX 4090에서 1~2일이면 학습된다.

비고

학습 GPU·시간은 논문에 없고 README 값(검증 확인). 2025-09-29 전체 공개(모션 데이터, 교사·학생 학습 코드, sim2real 스크립트, 범용 모션 트래커 체크포인트). 데이터 시간은 공개 데이터 약 42시간만 반영, 사내 약 0.5시간 별도.

검증

확인