ω-0 (OMEGA-0)

NTU(MARS Lab)·Peking University·BAAI·HKUST(GZ) · 2026-08

VLA2026年新增约4Bdiffusion

由语言·第一/第三人称视频·本体感觉预测未来观测嵌入，同时用动作DiT生成兼容SONIC的全身动作潜变量的人形机器人潜在预测world action model。

论文

主干LLM: Qwen3-VL-2B-Instruct (全身动作VLM;未单独说明LLM)
视觉编码器: V-JEPA 2.1图像编码器(冻结) + Qwen3-VL内置视觉
动作头: 动作DiT diffusion(x0预测，DDIM少量步) → 66维潜变量(SONIC 64+手2) (diffusion)
动作块: 25步(执行8) — 公开config为30
控制频率: >7 Hz (单次前向约0.14秒)
架构原文摘要: Qwen3-VL-2B全身动作VLM(FAST token预训练) + V-JEPA 2.1(冻结)·T5 → 联合视频-动作潜变量预测器(未来Wan潜变量L2) → 动作DiT diffusion(x0预测, DDIM) → 66维(SONIC全身潜变量64+手2)动作块H=25中执行8,>7 Hz → SONIC控制器

预训练加速器: H100 8张 (第1·2阶段;第3阶段相同)
预训练时长: 未公开
预训练步数·批量: 未公开
GPU·TPU-小时: 未公开
微调: 3阶段真实数据微调(11个任务约2,220条轨迹，VLM·V-JEPA·Wan冻结) H100 8张，时间·步数未公开(公开config默认值：批量32·80k步·lr 1e-4)
数据类型: 真实机器人遥操作 / 人类视频 / 仿真·合成
数据规模: ω-HOME 40.3小时·4,827回合·24项任务(30 Hz)；下游11项任务约2,220条轨迹(每项任务约200条)；公开人类数据(ARCTIC·Xperience-10M·Motion-X)规模未注明
主要数据集: ω-HOME; ARCTIC; Xperience-10M; Motion-X
任务·评估: 真实环境11项家务运动-操作(每任务10次)：成功率81.8%(Omni)/79.1%(Ego)，得分36.7/41，进度90.3%；基线ψ-0 44.5%，DiT4DiT 43.6%，Fast-WAM 37.1%，InternVLA-M1 31.8%，π0.5 27.3%，GR00T-N1.7 22.7%
机器人: Unitree G1人形机器人(README；论文标注'G1') + Inspire DexHand，头部ZED Mini第一视角相机；采集时使用外部ZED深度相机

推理设备·速度: 单次前向约0.14秒(>7 Hz)，动作块H=25中执行K=8 + RTC式热启动·重叠混合；推理服务器GPU型号未注明，SONIC为工作站或G1 Orin(README)
推理显存: 未公开
权重 bf16（计算）: 8 GB
运行位置: 工作站GPU推理服务器(型号未注明) + SONIC(工作站或G1 Orin)

强化学习: 部分 (结合RL底层控制器) · ω-0本身为模仿学习(FAST token NTP + diffusion x0预测)；由PPO训练的SONIC跟踪控制器执行潜变量，并通过在SONIC仿真中回放公开动作生成训练用动作潜变量
强化学习依据: https://arxiv.org/abs/2511.07820
底盘控制: 人形双足 (指令/潜变量 → RL行走控制器) · VLA输出SONIC兼容全身动作潜变量(64维)+手部指令动作块 → SONIC RL跟踪控制器控制行走·全身关节

核心特点: 由语言·第一/第三人称视频·本体感觉预测未来观测嵌入，同时用动作DiT生成兼容SONIC的全身动作潜变量的人形机器人潜在预测world action model。在真实环境11项家务运动-操作任务中成功率81.8%，大幅领先ψ-0(44.5%)·π0.5(27.3%)等基线。
备注: 通过SONIC仿真回放将公开人体动作转换为机器人可执行的动作潜变量·状态，并剔除跟踪失败的轨迹；遥操作用Pico 4 Ultra·Pico追踪器驱动SONIC；动作块25(论文) vs 公开config 30；代码(GitHub MIT，HF卡片为Apache-2.0)·权重(keycharon/Omega-zero)·ω-HOME(HF 38.2GB)已公开；arXiv v2 2026-08-09。基础：SONIC: Supersizing Motion Tracking for Natural Humanoid Whole-Body Control (arXiv 2511.07820) — 用SONIC动作潜空间·控制器执行，并通过SONIC回放将公开动作潜变量化(论文明示)
核验: 已反映修正