SyVLA

SJTU + Shanghai Innovation Institute + Shanghai AI Lab + Noematrix 외 · 2026-06

VLA2026 신규3B VLM + 0.69B 전문가flow matching

사전학습 연산(H200 32개, 약 1.5일)을 밝힌 학술 VLA다.

논문

백본 LLM: Qwen2.5-3B · Qwen2.5-VL-3B 구성
비전 인코더: Qwen2.5-VL ViT
액션 헤드: flow 전문가 0.69B (15층) (flow matching)
청크: 50스텝
제어 주기: 미공개
구조 원문 요약: Qwen2.5-VL-3B + 0.69B 플로 매칭 전문가(15층 디코더, hidden 1408); Feature Query Token 20개, 50스텝 청크; 비동기 VLM·전문가 추론

사전학습 가속기: H200 32개 (DeepSpeed ZeRO-2)
사전학습 기간: 약 1.5일
사전학습 스텝·배치: 배치 512 (steps 미기재)
GPU·TPU-시간: 1,152 (환산 · H200-시간 (32 GPU × 약 1.5일=36시간))
파인튜닝: H100 8개(DeepSpeed ZeRO-2), 6–18시간, 배치 32; RL은 학습 시간 약 10% 추가
데이터 종류: 실로봇(OXE·RH20T 부분집합, 자체 수집 5% 미만) + 웹 비전-언어(VQA)
데이터 규모: 로봇 데이터 약 450시간(25 Hz) + 멀티모달 VQA; CoT 주석 약 1%
주요 데이터셋: Open X-Embodiment 부분집합, RH20T 부분집합
태스크·평가: 실제 셔츠 개기 도메인 내 0.86·도메인 밖 0.78; LIBERO Spatial 87.7·Object 84.0·Goal 87.3·Long 65.7
로봇: 노트 미기재

강화학습: 사용 (VLA RL 사후학습) · 3단계에서 실로봇 PPO 변형 RL로 전체 VLA 최적화(전문가 샘플 어드밴티지 1.0 고정, 가치 모델 약 100M). 학습 시간은 약 10%만 늘어남
강화학습 근거: https://arxiv.org/html/2606.09009
베이스 제어: 고정 · 베이스 언급 없음 (Cobot Magic 팔 관절 위치 행동; LIBERO 시뮬)

핵심 특징: 사전학습 연산(H200 32개, 약 1.5일)을 밝힌 학술 VLA다. RL을 더해도 학습 시간은 약 10%만 늘었다.
비고: ICML 2026. 프로젝트 페이지에 코드·데이터셋 공개 주장, 가중치 공개는 미확인. Spirit AI 모델이 아님. 검증 노트에 대조 행 없음.
검증: 미검증