ω-0 (OMEGA-0)

NTU(MARS Lab)·Peking University·BAAI·HKUST(GZ) · 2026-08

VLA2026年の新モデル約4Bdiffusion

言語・一人称/三人称動画・固有感覚から未来の観測埋め込みを予測しつつ、行動DiTでSONIC互換の全身行動潜在を生成するヒューマノイド潜在予測world action modelである。

論文

バックボーンLLM: Qwen3-VL-2B-Instruct (全身行動VLM; LLMの別途明記なし)
ビジョンエンコーダ: V-JEPA 2.1画像エンコーダ(凍結) + Qwen3-VL内蔵ビジョン
アクションヘッド: 行動DiT diffusion(x0予測、DDIM少数ステップ) → 66次元潜在(SONIC 64+ハンド2) (diffusion)
チャンク: 25ステップ(8実行) — 公開config 30
制御周期: >7 Hz (順伝播約0.14秒)
構造の原文要約: Qwen3-VL-2B 全身行動VLM(FASTトークンで事前学習) + V-JEPA 2.1(凍結)・T5 → 動画-行動の共同潜在予測器(未来のWan潜在 L2) → 行動DiT diffusion(x0予測、DDIM) → 66次元(SONIC全身潜在64+手2) チャンク H=25のうち8を実行、>7 Hz → SONIC制御器

事前学習アクセラレータ: H100 8枚 (1・2段階; 3段階も同じ)
事前学習期間: 非公開
事前学習ステップ・バッチ: 非公開
GPU・TPU時間: 非公開
ファインチューニング: 第3段階の実データファインチューニング(11課題約2,220軌跡、VLM・V-JEPA・Wan凍結) H100 8枚、時間・ステップは非公開(公開configデフォルト値: バッチ32・80kステップ・lr 1e-4)
データ種類: 実ロボットのテレオペレーション / 人の動画 / シミュレーション・合成
データ規模: ω-HOME 40.3時間・4,827エピソード・24タスク(30 Hz); ダウンストリーム11タスク約2,220軌跡(タスクあたり約200); 公開人間データ(ARCTIC・Xperience-10M・Motion-X)の規模は記載なし
主要データセット: ω-HOME; ARCTIC; Xperience-10M; Motion-X
タスク・評価: 実環境11の家事ロコマニピュレーション(タスクあたり10回): 成功率81.8%(Omni)/79.1%(Ego)、スコア36.7/41、進捗率90.3%; ベースライン ψ-0 44.5%、DiT4DiT 43.6%、Fast-WAM 37.1%、InternVLA-M1 31.8%、π0.5 27.3%、GR00T-N1.7 22.7%
ロボット: Unitree G1ヒューマノイド(README; 論文表記「G1」) + Inspire DexHand、頭部ZED Mini一人称カメラ; 収集時は外部ZED深度カメラ

推論デバイス・速度: 1回の順伝播約0.14秒(>7 Hz)、チャンク H=25 のうち K=8 を実行 + RTC式ウォームスタート・重なりブレンディング; 推論サーバのGPU機種は記載なし、SONICはワークステーションまたはG1 Orin(README)
推論メモリ: 非公開
重み bf16(計算): 8 GB
実行場所: ワークステーションGPU推論サーバー(機種は記載なし) + SONIC(ワークステーションまたはG1 Orin)

強化学習: 一部 (RL下位制御器との結合) · ω-0自体は模倣学習(FASTトークンNTP + diffusion x0予測); PPOで学習されたSONIC追跡制御器が潜在を実行し、公開モーションのSONICシミュレーション再生で学習用の行動潜在を生成
強化学習の根拠: https://arxiv.org/abs/2511.07820
ベース制御: ヒューマノイド歩行 (指令・潜在 → RL歩行制御器) · VLAがSONIC互換の全身行動潜在(64次元)+ハンド指令チャンクを出力 → SONIC RL追跡制御器が歩行・全身関節を制御

主な特徴: 言語・一人称/三人称動画・固有感覚から未来の観測埋め込みを予測しつつ、行動DiTでSONIC互換の全身行動潜在を生成するヒューマノイド潜在予測world action modelである。実環境11の家事ロコマニピュレーションタスクで成功率81.8%を達成し、ψ-0(44.5%)・π0.5(27.3%)などのベースラインを大きく上回った。
備考: 公開人間モーションをSONICシミュレーション再生でロボット実行可能な行動潜在・状態に変換し、追跡失敗軌跡は除去; テレオペレーションはPico 4 Ultra・PicoトラッカーでSONICを駆動; チャンク25(論文) vs 公開config 30; コード(GitHub MIT、HFカードはApache-2.0)・重み(keycharon/Omega-zero)・ω-HOME(HF 38.2GB)公開; arXiv v2 2026-08-09。ベース: SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control (arXiv 2511.07820) — SONICの行動潜在空間・制御器で実行し、公開モーションをSONIC再生で潜在化(論文に明記)
検証: 修正反映