DexVLA

Midea Group, East China Normal University · 2025-02

VLAFlow·Diffusion VLAVLM 2B + 확산 전문가 1Bdiffusion

1B 확산 전문가를 교차 엠바디먼트 데이터로 먼저 사전학습하는 3단계 커리큘럼을 쓰고, 약 5초마다 sub-step 추론 주석을 단다.

논문

분류: Flow·Diffusion VLA
유형: VLA
발표: 2025-02
기관: Midea Group, East China Normal University
가중치 공개: 일부
파라미터: VLM 2B + 확산 전문가 1B(README: Qwen2-VL ~2B, ScaleDP-H ~1B, ScaleDP-L ~400M); 총계 미기재

백본 LLM: Qwen2-1.5B · Qwen2-VL-2B 구성
비전 인코더: Qwen2-VL ViT
액션 헤드: ScaleDP 확산 전문가 1B (32층) (diffusion)
청크: 미공개
제어 주기: 미공개
구조 원문 요약: Qwen2-VL-2B + 1B ScaleDP 확산 전문가(32층, hidden 1280, 16 heads) + 엠바디먼트별 MLP 헤드; 청크 길이 미공개

사전학습 가속기: H100×8(Stage 1)
사전학습 기간: 미공개
사전학습 스텝·배치: Stage 1 5 에폭, lr 1e-4 상수, AdamW(β 0.9/0.95); 배치 미공개
GPU·TPU-시간: 미공개
파인튜닝: Stage 2·3 각 5 에폭(lr 2e-5), GPU·시간 미공개; README: A6000 1장·배치 2에서 기본 38 GB·1.1 s/iter, 소형 ScaleDP 33 GB, LoRA VLM 24 GB, DeepSpeed offload 20~29 GB·6.56 s/iter
데이터 종류: 실로봇 텔레옵 + sub-step 언어 주석
데이터 규모: 100 h, 91과제(AgileX 42.7%, 단일 Franka 34.7% 등); 새 엠바디먼트 과제당 100 시연 이하
주요 데이터셋: 자체 수집 데이터
태스크·평가: 셔츠 접기 0.92(양팔 AgileX), 음료 따르기 0.90(Franka+덱스터러스 핸드), 포장 0.90(양팔 UR5e), 건조기 비우기 0.8, 빨래 접기, Table bussing, bin picking, 분류
로봇: Franka+그리퍼, Franka+덱스터러스 핸드, 양팔 UR5e, 양팔 AgileX

핵심 특징: 1B 확산 전문가를 교차 엠바디먼트 데이터로 먼저 사전학습하는 3단계 커리큘럼을 쓰고, 약 5초마다 sub-step 추론 주석을 단다. 새 엠바디먼트를 시연 100개 이하로 익혔다.
비고: Stage 1 ScaleDP-H·ScaleDP-L 가중치만 공개. 확산 전문가만 학습 시 속도 이득이 '5배'와 '2.78배'로 원문 내 불일치. 파라미터(B)는 총계 미기재로 null.
검증: 확인