Ψ0 (Psi-Zero)

USC PSI Lab + NVIDIA + WorldEngine · 2026-03

VLA2026年新增超过2.5B混合

报告称仅用约800小时人类视频和30小时机器人数据，就以40%以上的优势超过了使用10倍以上数据的基线模型。

论文

主干LLM: Qwen3 · Qwen3-VL-2B配置
视觉编码器: Qwen3-VL视觉
动作头: MM-DiT动作专家约500M (混合)
动作块: 未公开
控制频率: 未公开
架构原文摘要: Qwen3-VL-2B-Instruct + MM-DiT动作专家(约500M);预训练FAST token(48→约20) 48-DoF任务空间动作,后训练36-DoF关节空间动作;下半身为RL跟踪策略AMO(8-DoF指令→15-DoF关节)

预训练加速器: A100 64块
预训练时长: 10天
预训练步数·批量: 全局批量 1024，LR 0.0001 固定（steps未公开）
GPU·TPU-小时: 15,360 (换算 · A100-小时 (64 GPU × 10天=240小时))
微调: 后训练A100 32块(单节点)约30小时，batch 2048；逐任务微调40,000 steps(余弦LR，起始1e-4)
数据类型: 人类视频(第一人称EgoDex) + 真实机器人遥操作(人形机器人)
数据规模: EgoDex约829小时；Humanoid Everyday 31小时(260个任务)；每任务遥操作轨迹80条
主要数据集: EgoDex, Humanoid Everyday
任务·评估: Unitree G1真实任务8项；整体成功率比第2名GR00T-N1.6高40%以上；对比π0.5, GR00T N1.6, EgoVLA, H-RDT, InternVLA-M1, DP, ACT
机器人: Unitree G1(29 DoF，Dex3-1 7-DoF手，头部RealSense D435i)

强化学习: 部分 (结合RL底层控制器) · VLA为监督学习，下身为RL跟踪策略AMO(8-DoF指令 → 15-DoF关节)
底盘控制: 人形双足 (指令/潜变量 → RL行走控制器) · VLA输出手·臂关节 + 下身8-DoF指令(躯干rpy·高度·vx·vy·vyaw·方向) → AMO RL跟踪策略生成腿·腰15 DoF关节 (旋转·行走·下蹲)

核心特点: 报告称仅用约800小时人类视频和30小时机器人数据，就以40%以上的优势超过了使用10倍以上数据的基线模型。在训练阶段处理实时动作分块。
备注: 已反映修正：确认权重公开(HF USC-PSI-Lab/psi-model，数据psi-data，Apache 2.0)，2026-09-13新增SONIC用检查点。arXiv 2026-03-12。CVPR 2026 3D-LLM/VLA研讨会最佳论文奖(2026-06-03)。参数(B)为下限值2.5。数据时长(h)为预训练EgoDex部分。
核验: 已反映修正