VLA 갤러리 / 모델 목록 / 휴머노이드 VLA

Being-H0

Peking University·Renmin University of China·BeingBeyond · 2025-07

VLA휴머노이드 VLA1B / 8B / 14B이산 토큰

사람 손 영상 VLA 사전학습, 물리 공간 정렬, 로봇 태스크 사후학습을 잇는 'physical instruction tuning'을 쓴다.

논문

Being-H0: Vision-Language-Action Pretraining from Large-Scale Human VideosarXiv 2507.15597

개요

분류

휴머노이드 VLA

유형

VLA

발표

2025-07

기관

Peking University·Renmin University of China·BeingBeyond

가중치 공개

예

파라미터

1B / 8B / 14B

구조

백본 LLM

InternVL3 구조 (내부 LLM 미기재)

비전 인코더

InternViT-300M

액션 헤드

MANO 손 모션 토큰 (GRQ) (이산 토큰)

청크

미공개

제어 주기

미공개

구조 원문 요약

InternVL3 구조(비전 인코더 InternViT-300M) + 파트 단위 MANO 손 모션 토큰(손목·손가락 별도 grouped residual quantization, 코드북 Kw=Kf=4096), 모션 15 FPS

학습

사전학습 가속기

A800-80G × 32 (ViT 어댑터·LLM 백본 공동 학습)

사전학습 기간

미공개

사전학습 스텝·배치

스텝 미공개 · 배치 128 (AdamW, lr 1×10⁻⁵)

GPU·TPU-시간

미공개

파인튜닝

GPU·시간 미공개; 태스크당 텔레옵 50~100 궤적(Gello)으로 사후학습

데이터 종류

모션캡처 / 사람 영상 / 실로봇 텔레옵

데이터 규모

UniHand 440K+ 궤적·130M+ 프레임·1,100시간+ 영상; 사전학습에 2.5M 샘플(UniHand-2.5M) 사용

주요 데이터셋

UniHand(11개 소스: ARCTIC·FPHA·H2O·HOI4D 등 모션캡처, EgoDex·HoloAssist VR 녹화, Taste-Rob 의사 라벨 RGB 영상)

태스크·평가

실로봇 Pour-Cup 100%, Close-Toolbox 85%, Pick-Place-Toy 75%(seen)/65%(unseen)/60%(clutter), Unfold-Clothes 75%, Close-Lid 60%

로봇

Franka Research 3(7-DoF) + Inspire 손(6-DoF) + RealSense L515; 휴머노이드 아님

추론

추론 장치·속도

미공개

추론 메모리

미공개

가중치 bf16 (계산)

28 GB

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 사람 손 모션 사전학습 + 모방학습

베이스 제어

고정 · 베이스 제어 없음 (Franka FR3 + Inspire 손, EE 자세·손 관절만)

비고

핵심 특징

사람 손 영상 VLA 사전학습, 물리 공간 정렬, 로봇 태스크 사후학습을 잇는 'physical instruction tuning'을 쓴다. 실로봇 평가는 휴머노이드가 아닌 Franka 팔 + Inspire 손이라 범위 경계에 있다.

비고

파라미터(B)는 최대 변형 14B. 기관은 검증에서 Peking Univ.·Renmin Univ. 추가로 수정. 샘플 수는 논문 내부 충돌(§5.1 165M+ vs 기여 목록 150M+). 데이터 시간 1100은 '1,100시간 초과' 하한값. 가중치 1B/8B/14B·8B-Align 2025-08-02 공개, 코드 MIT(README 배지).

검증

수정 반영