VLA 갤러리 / 모델 목록 / 휴머노이드 VLA

WholeBodyVLA

Fudan University·OpenDriveLab & MMLab(HKU)·AgiBot·SII · 2025-12

VLA휴머노이드 VLAPrismatic-7B 기반잠재 액션

행동 라벨 없는 저비용 1인칭 영상에서 배우는 통합 잠재 학습으로 대공간 로코-매니퓰레이션을 한다.

논문

WholeBodyVLA: Towards Unified Latent VLA for Whole-Body Loco-Manipulation ControlarXiv 2512.11047

개요

분류

휴머노이드 VLA

유형

VLA

발표

2025-12

기관

Fudan University·OpenDriveLab & MMLab(HKU)·AgiBot·SII

가중치 공개

미확인

파라미터

Prismatic-7B 기반 (총 미공개)

구조

백본 LLM

Llama 2 7B · Prismatic-7B 구성

비전 인코더

DINOv2 LAM + Prismatic 비전

액션 헤드

잠재 행동 디코더 (조작·보행) (잠재 액션)

청크

미공개

제어 주기

미공개

구조 원문 요약

Prismatic-7B VLA + DINOv2 기반 VQ-VAE 잠재행동 모델(조작·보행 LAM 분리); 잠재행동을 약 10 Hz로 양팔 관절 행동과 보행 명령으로 디코딩, 보행 명령은 LMO RL 정책이 50 Hz로 실행

학습

사전학습 가속기

H100 × 8 (LAM·VLA); LMO RL은 H100 × 1

사전학습 기간

미공개

사전학습 스텝·배치

VLA 20,000 스텝 · 배치 1,024; LAM 30,000 스텝 · 배치 256

GPU·TPU-시간

미공개

파인튜닝

10,000 스텝 · 배치 64 (GPU는 H100 × 8 문장 범위), 시간 미공개

데이터 종류

사람 영상 / 실로봇 텔레옵

데이터 규모

1인칭 보행 영상 약 300시간; AgiBot World 조작 데이터(규모 미공개); 텔레옵 태스크당 50회

주요 데이터셋

자체 수집 1인칭 보행 영상, AgiBot World

태스크·평가

Bag Packing·Box Loading·Cart Pushing 평균 78.0%; 기존 기준선 대비 +21.3%

로봇

AgiBot X2(7-DoF 팔 + Omnipicker 그리퍼, 6-DoF 다리, 1-DoF 허리)

추론

추론 장치·속도

VLA는 RTX 4090 워크스테이션(약 10 Hz), LMO RL은 NanoPi 온보드(50 Hz)

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

로컬 PC (VLA) + 온보드 (LMO)

강화학습 · 베이스

강화학습

일부 (RL 하위 제어기 결합) · VLA는 잠재 행동 지도학습, 보행 명령은 LMO RL 정책이 실행(H100 1장 학습)

베이스 제어

휴머노이드 보행 (명령·잠재 → RL 보행 제어기) · VLA가 상체 관절각 + 보행 명령(전후·좌우·회전 3축 이산 지시 + 자세 높이) 출력 → LMO RL 정책이 하체 토크(50 Hz)

비고

핵심 특징

행동 라벨 없는 저비용 1인칭 영상에서 배우는 통합 잠재 학습으로 대공간 로코-매니퓰레이션을 한다. 기존 기준선보다 21.3% 높다.

비고

미세조정 설정과 배포 하드웨어는 노트의 '미공개'를 검증에서 수정, LAM 설정은 NEW. 데이터 시간 300은 보행 영상만. 파라미터(B)는 총 파라미터 미공개로 null. LMO의 시뮬레이터·env·시간 미공개.

검증

수정 반영