ExBody2
UC San Diego·UC Berkeley·MIT · 2024-12
VA人形机器人全身控制器未公开RL策略
以跟踪误差阈值τ* = 0.150自动筛选训练动作,跟踪富有表现力的全身动作。
论文
ExBody2: Advanced Expressive Humanoid Whole-Body ControlarXiv 2412.13196
概述
- 分类
- 人形机器人全身控制器
- 类型
- VA
- 发布
- 2024-12
- 机构
- UC San Diego·UC Berkeley·MIT
- 权重公开
- 未核实
- 参数
- 未公开 (学生 MLP [1024, 1024, 512])
架构
- 主干LLM
- 无
- 视觉编码器
- —
- 动作头
- 关节PD目标 (RL策略)
- 动作块
- 未公开
- 控制频率
- 50 Hz (底层500 Hz)
- 架构原文摘要
- MLP: 教师actor·value [512, 256, 128],学生 [1024, 1024, 512],本体感知历史10;动作目标 + 本体感知 → 关节PD目标,策略50 Hz·底层500 Hz
训练
- 预训练加速器
- 未公开 (IsaacGym)
- 预训练时长
- 未公开
- 预训练步数·批量
- 未公开 (env数未公开)
- GPU·TPU-小时
- 未公开
- 微调
- 不适用
- 数据类型
- 动作捕捉
- 数据规模
- CMU动作捕捉1,919个序列(筛选前);筛选后规模未公开
- 主要数据集
- CMU motion capture
- 任务·评估
- 将MPKPE·MPJPE跟踪误差与4个基线比较
- 机器人
- Unitree G1(23 DoF)
推理
- 推理设备·速度
- 策略50 Hz,底层500 Hz,通信延迟18~30 ms;机载Jetson Orin NX
- 推理显存
- 未公开
- 权重 bf16(计算)
- 未公开
- 运行位置
- 机载 (Jetson Orin NX)
强化学习与底盘
- 强化学习
- 使用 (RL控制器训练) · RL教师(特权信息, actor-critic) → 学生蒸馏
- 底盘控制
- 人形双足 (RL策略直接驱动) · 跟踪全身关键点·根部速度目标,输出含腿部在内的23维关节PD目标 (行走·下蹲·跳舞)
备注
- 核心特点
- 以跟踪误差阈值τ* = 0.150自动筛选训练动作,跟踪富有表现力的全身动作。在机载Jetson Orin NX上运行。
- 备注
- 筛选误差 e(s) = 0.1·E_key + 0.9·E_dof (extraction)。不在核实文件范围内。
- 核验
- 未验证
同类其他模型
- HumanPlus HST2024-06
- HumanPlus HIT2024-06
- Humanoid Locomotion as Next Token Prediction2024-02
- Challenging-Terrain Transformer2024-10
- BeyondMimic2025-08
- LeVERB-A2025-06
- OmniH2O2024-06
- HOVER2024-10
- iDP32024-10
- TWIST2025-05
- TWIST22025-11
- AMO2025-05
- GMT2025-06
- SONIC2025-11
- VIRAL2025-11
- BumbleBee2025-06
- Figure RL 보행 제어기2025-03