ω-0 (OMEGA-0)

NTU(MARS Lab)·Peking University·BAAI·HKUST(GZ) · 2026-08

VLA2026 신규약 4Bdiffusion

언어·1인칭/3인칭 영상·고유감각으로 미래 관측 임베딩을 예측하면서 행동 DiT로 SONIC 호환 전신 행동 잠재를 생성하는 휴머노이드 잠재 예측 world action model이다.

논문

백본 LLM: Qwen3-VL-2B-Instruct (전신 행동 VLM; LLM 별도 명시 없음)
비전 인코더: V-JEPA 2.1 이미지 인코더(동결) + Qwen3-VL 내장 비전
액션 헤드: 행동 DiT diffusion(x0 예측, DDIM 소수 스텝) → 66차원 잠재(SONIC 64+손 2) (diffusion)
청크: 25스텝(8 실행) — 공개 config 30
제어 주기: >7 Hz (순전파 약 0.14초)
구조 원문 요약: Qwen3-VL-2B 전신 행동 VLM(FAST 토큰 사전학습) + V-JEPA 2.1(동결)·T5 → 공동 비디오-행동 잠재 예측기(미래 Wan 잠재 L2) → 행동 DiT diffusion(x0 예측, DDIM) → 66차원(SONIC 전신 잠재 64+손 2) 청크 H=25 중 8 실행, >7 Hz → SONIC 제어기

사전학습 가속기: H100 8장 (1·2단계; 3단계도 동일)
사전학습 기간: 미공개
사전학습 스텝·배치: 미공개
GPU·TPU-시간: 미공개
파인튜닝: 3단계 실데이터 파인튜닝(11과제 약 2,220 궤적, VLM·V-JEPA·Wan 동결) H100 8장, 시간·스텝 미공개(공개 config 기본값: 배치 32·80k 스텝·lr 1e-4)
데이터 종류: 실로봇 텔레옵 / 사람 영상 / 시뮬레이션·합성
데이터 규모: ω-HOME 40.3시간·4,827 에피소드·24과제(30 Hz); 다운스트림 11과제 약 2,220 궤적(과제당 약 200); 공개 사람 데이터(ARCTIC·Xperience-10M·Motion-X) 규모 미기재
주요 데이터셋: ω-HOME; ARCTIC; Xperience-10M; Motion-X
태스크·평가: 실환경 11개 가사 로코-매니퓰레이션(과제당 10회): 성공률 81.8%(Omni)/79.1%(Ego), 점수 36.7/41, 진행률 90.3%; 기준선 ψ-0 44.5%, DiT4DiT 43.6%, Fast-WAM 37.1%, InternVLA-M1 31.8%, π0.5 27.3%, GR00T-N1.7 22.7%
로봇: Unitree G1 휴머노이드(README; 논문 표기 'G1') + Inspire DexHand, 머리 ZED Mini 1인칭 카메라; 수집 시 외부 ZED 깊이 카메라

추론 장치·속도: 1회 순전파 약 0.14초(>7 Hz), 청크 H=25 중 K=8 실행 + RTC식 워밍스타트·겹침 블렌딩; 추론 서버 GPU 기종 미기재, SONIC은 워크스테이션 또는 G1 Orin(README)
추론 메모리: 미공개
가중치 bf16 (계산): 8 GB
실행 위치: 워크스테이션 GPU 추론 서버(기종 미기재) + SONIC(워크스테이션 또는 G1 Orin)

강화학습: 일부 (RL 하위 제어기 결합) · ω-0 자체는 모방학습(FAST 토큰 NTP + diffusion x0 예측); PPO로 학습된 SONIC 추적 제어기가 잠재를 실행하고, 공개 모션의 SONIC 시뮬 재생으로 학습용 행동 잠재 생성
강화학습 근거: https://arxiv.org/abs/2511.07820
베이스 제어: 휴머노이드 보행 (명령·잠재 → RL 보행 제어기) · VLA가 SONIC 호환 전신 행동 잠재(64차원)+손 명령 청크 출력 → SONIC RL 추적 제어기가 보행·전신 관절 제어

핵심 특징: 언어·1인칭/3인칭 영상·고유감각으로 미래 관측 임베딩을 예측하면서 행동 DiT로 SONIC 호환 전신 행동 잠재를 생성하는 휴머노이드 잠재 예측 world action model이다. 실환경 11개 가사 로코-매니퓰레이션 과제에서 성공률 81.8%로 ψ-0(44.5%)·π0.5(27.3%) 등 기준선을 크게 앞섰다.
비고: 공개 사람 모션을 SONIC 시뮬 재생으로 로봇 실행 가능한 행동 잠재·상태로 변환하고 추적 실패 궤적은 제거; 텔레옵은 Pico 4 Ultra·Pico 트래커로 SONIC 구동; 청크 25(논문) vs 공개 config 30; 코드(GitHub MIT, HF 카드는 Apache-2.0)·가중치(keycharon/Omega-zero)·ω-HOME(HF 38.2GB) 공개; arXiv v2 2026-08-09. 기반: SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control (arXiv 2511.07820) — SONIC 행동 잠재 공간·제어기로 실행하고 공개 모션을 SONIC 재생으로 잠재화(논문 명시)
검증: 수정 반영