VLA 图库 / 模型列表 / 人形机器人全身控制器

OmniH2O

Carnegie Mellon University·Shanghai Jiao Tong University · 2024-06

VA人形机器人全身控制器未公开RL策略

既是用VR·RGB关键点遥操作全身的追踪器，也是用所采集演示训练自主策略的平台。

论文

OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and LearningarXiv 2406.08858

概述

分类

人形机器人全身控制器

类型

VA

发布

2024-06

机构

Carnegie Mellon University·Shanghai Jiao Tong University

权重公开

未核实

参数

未公开 (MLP [512, 256, 128])

架构

主干LLM

无

视觉编码器

—

动作头

关节目标 (RL策略)

动作块

未公开

控制频率

50 Hz (PD 200 Hz)

架构原文摘要

MLP [512, 256, 128](实验了GRU·LSTM学生变体),学生25步历史;VR或RGB关键点输入 → 关节目标,策略50 Hz·PD 200 Hz

训练

预训练加速器

未公开 (Isaac Gym preview 4，repo)

预训练时长

未公开

预训练步数·批量

4096 env (repo训练命令)

GPU·TPU-小时

未公开

微调

不适用

数据类型

动作捕捉 / 实机遥操作

数据规模

重定向·增强AMASS 14k序列（仿真评估集）；OmniH2O-6 真实遥操作演示共40分钟（每任务8,535~18,436帧）

主要数据集

AMASS(重定向·增强)，OmniH2O-6

任务·评估

仿真跟踪指标；真实自主6项任务(OmniH2O-6，Diffusion Policy·ResNet BC)

机器人

Unitree H1 + 手

推理

推理设备·速度

策略50 Hz，PD控制器200 Hz

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

使用 (RL控制器训练) · RL教师(特权信息) → DAgger学生蒸馏

底盘控制

人形双足 (RL策略直接驱动) · 全身RL策略接收关键点·摇杆目标，输出含腿部在内的关节目标 (摇杆前后行走，'Walk forward 0.5m')

备注

核心特点

既是用VR·RGB关键点遥操作全身的追踪器，也是用所采集演示训练自主策略的平台。还展示了接入GPT-4o的自主动作。

备注

README命令中还有short_history_length 0/5/50变体。代码CC BY-NC 4.0,检查点未核实。arXiv v1 2024-06-13, CoRL 2024。数据时长以分钟计(40分钟),故为null。核验仅针对repo值(Isaac Gym·env·许可证·历史)。

核验

已确认