VLA 图库 / 模型列表 / 人形机器人全身控制器

HOVER

NVIDIA·CMU·UC Berkeley·UT Austin·UC San Diego · 2024-10

VA人形机器人全身控制器未公开RL策略

以指令模式·稀疏掩码将多种控制模式统一到一个多模态全身策略中。

论文

HOVER: Versatile Neural Whole-Body Controller for Humanoid RobotsarXiv 2410.21229

概述

分类

人形机器人全身控制器

类型

VA

发布

2024-10

机构

NVIDIA·CMU·UC Berkeley·UT Austin·UC San Diego

权重公开

未核实

参数

未公开 (MLP [512, 256, 128])

架构

主干LLM

无

视觉编码器

—

动作头

关节目标（多模式掩码） (RL策略)

动作块

未公开

控制频率

未公开

架构原文摘要

3层MLP [512, 256, 128]；学生为最近25步本体感知 + 模式·稀疏掩码(B(0.5)采样) → 关节目标；由oracle教师经DAgger蒸馏

训练

预训练加速器

RTX 4090 / RTX A6000 / L40任1张 (repo, Isaac Lab 2.0.0重新实现);论文为IsaacGym, GPU未公开

预训练时长

教师 100,000 次迭代：RTX 4090 23.3小时 / A6000 52.8小时 / L40 44.6小时；学生 10,000 次迭代：0.27 / 0.50 / 0.49小时（repo）

预训练步数·批量

教师 100,000 次迭代 + 学生 10,000 次迭代（repo表）；通常 50k~80k 次迭代即足够，示例 1,024 env

GPU·TPU-小时

24 (换算 · RTX 4090-小时 (1 × (教师23.3 h + 学生0.27 h)，以repo重新实现为准))

微调

不适用

数据类型

动作捕捉

数据规模

H1重定向AMASS(子集规模未公开);完整重定向用32核CPU最长4天

主要数据集

AMASS

任务·评估

跟踪误差·模式切换评估；实机站立动作序列20个

机器人

Unitree H1(19-DOF，约51.5 kg，约1.8 m)

推理

推理设备·速度

控制周期未公开

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

使用 (RL控制器训练) · Oracle RL教师 → DAgger学生蒸馏

底盘控制

人形双足 (RL策略直接驱动) · 多模式指令（根速度·高度·姿态，关键点，关节角）→ 输出全身19 DoF关节目标，真实环境前向行走演示

备注

核心特点

以指令模式·稀疏掩码将多种控制模式统一到一个多模态全身策略中。repo复现版在单GPU上约一天训练完教师。

备注

训练时间不是论文值，而是repo(Isaac Lab 2.0.0重新实现)的值。代码Apache 2.0，检查点未核实。核查仅针对repo值(训练时间·env·迭代)。

核验

已确认