VLA 图库 / 模型列表 / 人形机器人全身控制器

SONIC

SONIC (Supersizing Motion Tracking for Natural Humanoid Whole-Body Control)

NVIDIA · 2025-11

VA人形机器人全身控制器1.2M~42MRL策略

是将动作跟踪按数据·模型·算力规模扩展的通用token全身控制器。

论文

主干LLM: 无
视觉编码器: —
动作头: MLP控制解码器 (RL策略)
动作块: 未公开
控制频率: 50 Hz
架构原文摘要: 将VR·视频·文本·音乐·VLA输入量化为FSQ通用token(64维潜在运动token)；MLP编码器(v1 [2048, 1024, 512, 512]) + 控制解码器(v1 [2048, 2048, 1024, 1024, 512, 512]；2025-12-8版 [4096, 4096, 2048, 2048, 1024, 1024, 512, 512]) → 29维对角高斯动作，50 Hz

预训练加速器: GPU 128张(型号未公开)；最新版扩展实验16·32·128张
预训练时长: v1：128 GPU训练3天；v1 '3~7天收敛'(不确定指控制器还是规划器)；最新版'7天'†
预训练步数·批量: 50k次迭代 · 每GPU并行env 4,096 (Isaac Lab)
GPU·TPU-小时: 21,000 (明示 · GPU-小时（GPU型号未公开）；最新版（v4）21k，v1摘要 9k·v1 §2.1 32,000（各版本冲突）)
微调: 不适用 (控制器)；微调GR00T N1.5以输出SONIC token，GPU未公开
数据类型: 动作捕捉
数据规模: v1：内部700小时·100M+帧(50 Hz)·170人；最新版重定向后611小时·训练片段317,189个·子类别8,447个
主要数据集: 内部动作捕捉；公开子集BONES-SEED（142K+动作，约 288小时，2026-03-16公开）
任务·评估: 42M test-content成功率99.6%·MPJPE-L 23.8 mm(1.2M 98.0%·27.7 mm)；真实124条序列99.2%†；与GR00T N1.5联动的移动操作5个任务平均75%
机器人: Unitree G1

推理设备·速度: 策略50 Hz，运动学规划器10 Hz，用户输入100 Hz，电机500 Hz；规划器延迟笔记本不到5 ms·Jetson Orin 12 ms；C++·TensorRT部署
推理显存: 未公开
权重 bf16（计算）: 0.1 GB
运行位置: 机载 (Jetson Orin，规划器12 ms)

强化学习: 使用 (RL控制器训练) · Isaac Lab大规模RL动作跟踪(GPU 128张,每GPU 4,096个环境)
底盘控制: 人形双足 (RL策略直接驱动) · 通用动作token → 控制解码器直接输出29维关节目标实现行走（速度指令 0–6 m/s）；与VLA联动时VLA输出导航指令

核心特点: 是将动作跟踪按数据·模型·算力规模扩展的通用token全身控制器。不用Transformer，而将MLP从1.2M扩大到42M，test-content成功率从98.0%提升到99.6%。
备注: 数据时长为v1内部数据集700小时（最新版重定向后611小时）。GPU-小时各版本冲突：v1摘要 9k vs v1 §2.1 32,000（'128 GPUs over 3 days'），最新版将16·32·128 GPU均训练至50k次迭代，约 2k·9k·21k。VLA数据 3,900条轨迹（物体13个 × 300）·多物体 1,000条轨迹†；v1系列PDF用遥操作演示300条微调GR00T N1.5。2025年公开时无权重，检查点 2026-02-19·训练代码 2026-04-10（权重 NVIDIA Open Model License，代码 Apache 2.0）。2026训练指南建议64+ GPU（非2025论文值）。v4 2026-08-13（Science Robotics 11(117) eaed4592）。运动学规划器为'Transformers or Conv1D'。
核验: 已确认