VLA 갤러리 / 모델 목록 / 휴머노이드 VLA

LeVERB

LeVERB (Latent Vision-Language-Encoded Robot Behavior)

UC Berkeley·NTNU·Simon Fraser University·Carnegie Mellon University · 2025-06

VLA휴머노이드 VLASystem 2 학습 파라미터 102.56M잠재 액션

잠재 행동 어휘(latent verb)로 비전-언어 계층과 전신 제어 계층을 잇는 계층형 VLA로, 시뮬에서만 학습해 G1에 zero-shot 전이한다.

논문

LeVERB: Humanoid Whole-Body Control with Latent Vision-Language InstructionarXiv 2506.13751

개요

분류

휴머노이드 VLA

유형

VLA

발표

2025-06

기관

UC Berkeley·NTNU·Simon Fraser University·Carnegie Mellon University

가중치 공개

미확인

파라미터

System 2 학습 파라미터 102.56M; System 1 미공개(2층·128차원)

구조

백본 LLM

없음 (ViT-B 시각·텍스트 인코더)

비전 인코더

ViT-B 시각·텍스트 인코더 (동결)

액션 헤드

잠재 동사 → 트랜스포머 학생 정책 (잠재 액션)

청크

미공개

제어 주기

50 Hz

구조 원문 요약

System 2(LeVERB-VL): 동결 ViT-Base 시각·텍스트 인코더(각 768차원) → 256차원 잠재 '동사', 10 Hz / System 1(LeVERB-A): 2층·4헤드·hidden 128 트랜스포머 학생, 관절 위치 행동 50 Hz

학습

사전학습 가속기

Ada 6000 × 2 (System 2)

사전학습 기간

미공개

사전학습 스텝·배치

스텝 미공개 · 글로벌 배치 512 (System 2)

GPU·TPU-시간

미공개

파인튜닝

해당 없음

데이터 종류

시뮬레이션·합성 / 모션캡처

데이터 규모

154 궤적을 각 100회 랜덤화한 포토리얼 롤아웃 17.1시간; 언어 전용 2.7시간(500 궤적)

주요 데이터셋

LeVERB-Bench(리타게팅 모션캡처의 IsaacSim 레이트레이싱 렌더링)

태스크·평가

LeVERB-Bench(10개 범주, 150+ 태스크); 단순 시각 내비게이션 80%, 전체 58.5%; 단순 계층형 전신 VLA 대비 7.8배

로봇

Unitree G1 전신(시각 내비게이션·로코-매니퓰레이션)

추론

추론 장치·속도

System 2 10 Hz, System 1 50 Hz; 하드웨어 미공개

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

미공개

강화학습 · 베이스

강화학습

일부 (RL 하위 제어기 결합) · System 2는 지도학습, System 1은 RL 교사 정책을 DAgger로 증류

베이스 제어

휴머노이드 보행 (명령·잠재 → RL 보행 제어기) · LeVERB-VL 잠재 동사(10 Hz) → LeVERB-A가 전신 관절 위치를 직접 출력해 보행·회전·착석 (시각 내비게이션)

비고

핵심 특징

잠재 행동 어휘(latent verb)로 비전-언어 계층과 전신 제어 계층을 잇는 계층형 VLA로, 시뮬에서만 학습해 G1에 zero-shot 전이한다. System 1은 비전-언어 무관 RL 교사를 DAgger로 증류한다.

비고

데이터 시간은 포토리얼 롤아웃 17.1 h만(언어 전용 2.7 h 별도). 파라미터(B)는 총 파라미터 미공개로 null. System 1 교사 RL의 시뮬레이터·env·GPU 미공개(검증 NOT FOUND); 별도 행 LeVERB-A 참조. arXiv v3 2025-09-25.

검증

확인