VLA 갤러리 / 모델 목록 / 휴머노이드 전신 제어기

VIRAL

VIRAL (Visual Sim-to-Real at Scale for Humanoid Loco-Manipulation)

NVIDIA·CMU·UC Berkeley·CUHK · 2025-11

VA휴머노이드 전신 제어기미공개RL 정책

RL 교사를 대규모 타일 렌더링 시뮬에서 RGB 학생으로 증류해 시각 기반 로코-매니퓰레이션을 실기로 옮긴다.

논문

VIRAL: Visual Sim-to-Real at Scale for Humanoid Loco-ManipulationarXiv 2511.15200

개요

분류

휴머노이드 전신 제어기

유형

VA

발표

2025-11

기관

NVIDIA·CMU·UC Berkeley·CUHK

가중치 공개

미확인

파라미터

미공개

구조

백본 LLM

없음

비전 인코더

DINOv3 (학생)

액션 헤드

WBC 명령 델타 11차원 (RL 정책)

청크

미공개

제어 주기

미공개

구조 원문 요약

교사: MLP [512, 256, 128], 특권 상태 → WBC 명령 델타 11차원(Δv, Δω_yaw, Δq_arm, Δq_finger) / 학생: 108×192 RGB를 DINOv3(ViT)로 128차원 특징화해 상태와 결합, MLP·피드포워드 이력·LSTM 헤드

학습

사전학습 가속기

교사 L40S × 16(8-GPU 노드 2개), 학생 L40S × 64(8-GPU 노드 8개)

사전학습 기간

미공개

사전학습 스텝·배치

env: 교사 32768 (2048*8GPUs*2Nodes), 학생 65535 (1024*8GPUs*8Nodes); 스텝 미공개

GPU·TPU-시간

미공개

파인튜닝

해당 없음

데이터 종류

시뮬레이션·합성

데이터 규모

시뮬 텔레옵 시연 200개(기준 상태 초기화); 나머지는 시뮬 RL·증류

주요 데이터셋

자체 시뮬 텔레옵 시연

태스크·평가

실제 연속 59회 중 54회 성공; 사이클 20.2초(전문 텔레옵 100%·21.4초)

로봇

Unitree G1(29-DoF) + 7-DoF 3지 손

추론

추론 장치·속도

미공개

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

미공개

강화학습 · 베이스

강화학습

사용 (RL 제어기 학습) · RL 교사(특권 상태) → RGB 학생 증류. 시뮬 텔레옵 시연 200개로 초기 상태 설정

베이스 제어

휴머노이드 보행 (명령·잠재 → RL 보행 제어기) · 정책이 WBC 명령 델타(Δv·Δω_yaw·팔·손가락) 출력 → HOMIE WBC가 하체 보행 (테이블 사이 보행·회전)

비고

핵심 특징

RL 교사를 대규모 타일 렌더링 시뮬에서 RGB 학생으로 증류해 시각 기반 로코-매니퓰레이션을 실기로 옮긴다. 학생 학습에 L40S 64장을 쓴다.

비고

Isaac Lab 타일 렌더링. 환경 수는 원문 괄호 표기 그대로. wall-clock 미공개(검증 NOT FOUND). 학생 시각 인코더 DINOv3는 ViT지만 정책 헤드가 MLP·LSTM이라 비교용 비트랜스포머로 분류.

검증

확인