HybridVLA

Peking University, BAAI, CUHK · 2025-03

VLAFlow·Diffusion VLALLM 7B / 2.7B 두 크기하이브리드

한 LLM이 자기회귀 예측과 확산 액션 생성을 함께 하고, AR 토큰 평균 신뢰도가 0.96을 넘으면 두 액션을 평균하는 협동 앙상블을 쓴다.

논문

백본 LLM: Llama 2 7B / Phi-2 2.7B
비전 인코더: SigLIP + DINOv2 (7B) / CLIP (2.7B)
액션 헤드: 자기회귀 토큰 + 확산 토큰 (4스텝) 결합 (하이브리드)
청크: 없음 (1스텝)
제어 주기: 미공개
구조 원문 요약: 단일 LLM(7B: LLaMA-2 + DINOv2·SigLIP, prism-dinosiglip-224px / 2.7B: Phi-2 + CLIP) 안에서 자기회귀 토큰 + diffusion 토큰(<BOD>/<EOD>), denoising 4스텝(20에서 축소); 단일 스텝 액션

사전학습 가속기: A800(장수 미공개)
사전학습 기간: 미공개
사전학습 스텝·배치: 5 에폭(35개 데이터셋), 배치 미공개
GPU·TPU-시간: 10,000 (명시 · A800-시간 (10K 이상))
파인튜닝: RLBench: A800×8, 300 에폭, mixed precision(시간 미공개); README 예시 A100×8 1노드, GPU당 배치 32
데이터 종류: 실로봇 텔레옵 + 시뮬레이션(RLBench 파인튜닝)
데이터 규모: 사전학습 760K 궤적·33M 프레임, 35개 데이터셋; RLBench 과제당 100 궤적; 실기 과제당 100 시연
주요 데이터셋: Open X-Embodiment, DROID, RoboMIND
태스크·평가: RLBench 10과제 평균 74%(7B); Franka FR3 실기 5과제 평균 0.80; AgileX 양팔 5과제 평균 0.66
로봇: Franka Research 3(단일 팔), AgileX(양팔); 시뮬레이션 RLBench

추론 장치·속도: NVIDIA 4090D: HybridVLA(7B) 6.1 Hz, HybridVLA-dif(7B) 9.4 Hz, HybridVLA(2.7B) 12.3 Hz
추론 메모리: 미공개
가중치 bf16 (계산): 14 GB
실행 위치: 로컬 PC

핵심 특징: 한 LLM이 자기회귀 예측과 확산 액션 생성을 함께 하고, AR 토큰 평균 신뢰도가 0.96을 넘으면 두 액션을 평균하는 협동 앙상블을 쓴다. 35개 데이터셋 760K 궤적으로 A800 10K GPU-시간 넘게 사전학습했다.
비고: 파라미터(B)는 논문 변형명 HybridVLA(7B)의 LLM 크기 기준 최대값(비전 인코더 포함 총계 미공개). 체크포인트는 Baidu Netdisk로 공개.
검증: 확인