VLA 갤러리 / 모델 목록 / 휴머노이드 전신 제어기

BeyondMimic

UC Berkeley·Stanford University · 2025-08

VA휴머노이드 전신 제어기확산 정책 19.95Mdiffusion

적응 샘플링으로 긴 모션의 어려운 구간을 학습해 LAFAN1 동작을 파라미터 튜닝 없이 실기로 옮긴다.

논문

백본 LLM: 없음
비전 인코더: —
액션 헤드: 확산 플래너 (트랜스포머 6층, 19.95M) (diffusion)
청크: 미공개
제어 주기: 미공개
구조 원문 요약: MLP 트래커(actor·critic [512, 256, 128], ELU): 고유감각 + 참조 모션 → 관절 목표 / 가이드 확산 정책: 트랜스포머 디코더 6층·4헤드·512차원

사전학습 가속기: 미공개 (Isaac Lab v2.1.0, repo)
사전학습 기간: 미공개
사전학습 스텝·배치: max_iterations 30000 · env당 24 스텝, 4096 env (repo); sim dt 0.005, decimation 4
GPU·TPU-시간: 미공개
파인튜닝: 해당 없음
데이터 종류: 모션캡처 / 시뮬레이션·합성
데이터 규모: 사람 모션 약 2.5시간(v4); 실기 배포 30 클립(15분); 확산 정책 데이터는 도메인 랜덤화 전문가 정책 롤아웃(규모 미공개)
주요 데이터셋: Unitree 리타게팅 LAFAN1, 선행 연구 데이터셋, 온라인 애니메이션 데이터
태스크·평가: Unitree G1 옆돌기·질주·360° 회전 점프; 확산 정책으로 웨이포인트 내비게이션·조이스틱 원격조작·장애물 회피(조이스틱 실험당 50회)
로봇: Unitree G1

추론 장치·속도: 트래커: 로봇 CPU ONNX Runtime, 스텝당 1.0 ms 미만 / 확산 정책: 오프보드 RTX 4060 Mobile TensorRT, 디노이징 20스텝 약 20 ms
추론 메모리: 미공개
가중치 bf16 (계산): 미공개
실행 위치: 오프보드 노트북 + 로봇 CPU

강화학습: 사용 (RL 제어기 학습) · MLP 트래커를 Isaac Lab actor-critic RL(환경 4,096개)로 학습. 확산 플래너는 지도학습
베이스 제어: 휴머노이드 보행 (RL 정책이 직접 구동) · 추적 정책이 참조 모션을 따라 전신 관절 PD 목표 직접 출력(보행·달리기·옆돌기); 확산 정책은 조이스틱 속도·웨이포인트 비용 유도로 보행 생성

핵심 특징: 적응 샘플링으로 긴 모션의 어려운 구간을 학습해 LAFAN1 동작을 파라미터 튜닝 없이 실기로 옮긴다. 확산 정책은 테스트 시 가이던스로 웨이포인트·조이스틱·장애물 회피 목표를 따른다.
비고: 파라미터(B)는 총 파라미터 미공개로 null(확산 정책 19.95M만 공개, 트래커 미공개). 아키텍처는 확산 플래너 기준 트랜스포머이며 트래커는 MLP. 모션별 수렴 반복(Cristiano Ronaldo 1.5k, 춤 8k~10k)†. 이전 HTML판은 LAFAN1 참조 40개(각 수 분). arXiv v4 2025-11-13. 추적 학습 코드 MIT, 체크포인트 미기재.
검증: 확인