VLA 图库 / 模型列表 / 人形机器人全身控制器

GMT

GMT (General Motion Tracking)

UC San Diego·Simon Fraser University · 2025-06

VA人形机器人全身控制器未公开RL策略

通过自适应采样(将超过10秒的动作截为10秒并按完成度加权)与MoE，单一策略即可跟踪多样的人类动作。

论文

GMT: General Motion Tracking for Humanoid Whole-Body ControlarXiv 2506.14770

概述

分类

人形机器人全身控制器

类型

VA

发布

2025-06

机构

UC San Diego·Simon Fraser University

权重公开

是

参数

未公开

架构

主干LLM

无

视觉编码器

—

动作头

关节目标 (RL策略)

动作块

未公开

控制频率

50 Hz

架构原文摘要

Motion Mixture-of-Experts MLP(专家网络组 + 门控网络) + 卷积动作编码器(未来帧 → 128维潜变量);学生以本体感知20步历史做DAgger;仿真500 Hz·控制50 Hz

训练

预训练加速器

RTX 4090 × 1

预训练时长

教师约 3天 + 学生约 1天

预训练步数·批量

4096个并行env (IsaacGym)；步数未公开

GPU·TPU-小时

96 (换算 · RTX 4090-小时 (1 × (约3天 + 约1天) × 24 h))

微调

不适用

数据类型

动作捕捉

数据规模

AMASS·LAFAN1子集8925个片段·33.12小时

主要数据集

AMASS, LAFAN1

任务·评估

评估MPKPE·MPJPE·速度跟踪误差;真机Unitree G1通用动作跟踪

机器人

Unitree G1(23 DoF，身高1.32 m)

推理

推理设备·速度

控制50 Hz

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

使用 (RL控制器训练) · RL教师(约3天) → DAgger学生(约1天),单张RTX 4090

底盘控制

人形双足 (RL策略直接驱动) · 全身动作跟踪策略跟随参考动作直接输出23 DoF关节目标 (行走·跑步·踢腿·侧步)

备注

核心特点

通过自适应采样(将超过10秒的动作截为10秒并按完成度加权)与MoE，单一策略即可跟踪多样的人类动作。在单张RTX 4090上训练，教师约3天·学生约1天。

备注

HTML提取的'33 days'·'11 day'·'89,258 clips'为误读,以PDF值为准。公开用于MuJoCo sim2sim的预训练检查点。

核验

已确认