Spark-0

Xspark AI·Tsinghua University·MMLab@HKU·HKUST(GZ)·Peking University · 2026-10

VLA2026 신규미공개flow matching

촉각 장갑에서 얻은 접촉 맵과 동결 Depth-Anything-3 특징으로 시각 토큰을 학습 때만 감독하고, 별도 촉각 경로가 영역별 힘 이력과 3D taxel 상태로 행동 전문가만 조건화하는 VTLA 모델이다.

논문

백본 LLM: Qwen3-VL-4B-Instruct
비전 인코더: Qwen3-VL 내장 비전(머리 384², 손목 256²) + 학습 전용 DA3-LARGE 기하 교사(동결)
액션 헤드: flow matching 행동 전문가(Euler 4스텝) → 58차원 양손 EE 포즈·손 관절 (flow matching)
청크: 50스텝(RTC로 24스텝마다 재계획)
제어 주기: 미공개
구조 원문 요약: Qwen3-VL-4B-Instruct VLM(층별 KV, 행동 쿼리 64개) → 36층 폭 1024 층별 flow matching 행동 DiT(짝수 층 VLM 교차 어텐션, 홀수 층 State·Tactile·Action 공동 자기 어텐션, 촉각 토큰 24개) → 58차원(양손 EE 포즈 9+WUJI Hand 2 관절 20) 청크 H=50, Euler 4스텝; 학습 전용 DA3 기하·접촉 맵 정렬(VLM 25층)

사전학습 가속기: GPU 96장(12노드×8, 기종 미기재)
사전학습 기간: 미공개
사전학습 스텝·배치: 400k 스텝(warmup 20k), 전역 배치 576(GPU당 6, 누적 없음)
GPU·TPU-시간: 미공개
파인튜닝: 벤치마크별 다운스트림 파인튜닝 80k 스텝(warmup 8k), 사전학습과 같은 옵티마이저·GPU당 배치; 장치 수·시간 미공개
데이터 종류: 사람 영상 / 실로봇 텔레옵 / 시뮬레이션·합성
데이터 규모: 사전학습 7개 원천 합계 약 1,944시간(논문 '1.9k h'): HumanTouch 1,000h(100개 이상 과제·작업자 32명, 60 Hz)·EgoDex 662h·같은 장갑 로봇 플레이 20h·촉각 제거 로봇 플레이 24h·시뮬 25h·Fourier ActionNet 153h·AgiBot World 60h; 촉각은 표본의 44%
주요 데이터셋: HumanTouch; EgoDex; Fourier ActionNet; AgiBot World
태스크·평가: SparkArena-Sim 7과제(시각 전용) 평균 성공률 36.86%(FastWAM 28.29%); SparkArena-Real 5과제(촉각 사용) 성공률 52.0%·완료 점수 62.8(FTP-1 36.0%·47.8); Ego Humanoid Manipulation Benchmark 8개 집계 지표 모두 1위(시각 전용, 예: Short Seen SR 80.95%)
로봇: Gen 1 Prototype: Marvin M6S CCS-696 팔 2개 + WUJI Hand 2 정교 손 2개 + Moxian 촉각 장갑(손당 320 taxel), 머리 Orbbec 336·손목 Orbbec 305 카메라

추론 장치·속도: flow matching Euler 4스텝, 청크 50 + 학습 불필요 RTC(남은 행동 26개에서 다음 청크 비동기 요청, 24스텝마다 재계획, 추론 지연 명목 8스텝); 정책 서버는 GPU 1장 1프로세스(README), GPU 기종·지연 시간·제어 Hz 미기재
추론 메모리: 미공개
가중치 bf16 (계산): 미공개
실행 위치: GPU 정책 서버 1장(기종 미기재) + websocket 로봇 클라이언트

핵심 특징: 촉각 장갑에서 얻은 접촉 맵과 동결 Depth-Anything-3 특징으로 시각 토큰을 학습 때만 감독하고, 별도 촉각 경로가 영역별 힘 이력과 3D taxel 상태로 행동 전문가만 조건화하는 VTLA 모델이다. 체크포인트 하나로 시각 전용·촉각 조건 배치를 모두 지원하며, 1,000시간 HumanTouch 촉각 사전학습으로 Ego Humanoid 시각 전용 성공률을 52.5%에서 71.7%로, SparkArena-Real 성공률을 44.0%에서 52.0%로 올렸다.
비고: 샘플링 가중치 HumanTouch 0.35·EgoDex 0.39·같은 장갑 로봇 0.09; 사람 데이터는 IK로 WUJI 손에 리타기팅; 상태·행동 58차원(논문) vs 54차원(README) A/B, RTC 재계획 간격 24스텝(논문) vs 16스텝(README) A/B; 코드(GitHub MIT)·사전학습 체크포인트 pretrain_spark_0(HF, 400k 스텝 .pt 약 10.9GB)·SparkArena 공개, 파인튜닝 체크포인트·HumanTouch 데이터 공개 여부 미기재; XPolicyLab에도 통합. 기반: StarVLA (논문 [3]) — StarVLA·XPolicyLab 코드 위에 구축(논문 명시)
검증: 확인