VLA 图库 / 模型列表 / 人形机器人全身控制器

HumanPlus HIT

HumanPlus HIT (Humanoid Imitation Transformer)

Stanford University · 2024-06

VA人形机器人全身控制器未公开回归

用跟随(shadowing)采集的每任务最多40条演示学习自主全身技能的视觉-运动策略。

论文

HumanPlus: Humanoid Shadowing and Imitation from HumansarXiv 2406.10454

概述

分类

人形机器人全身控制器

类型

VA

发布

2024-06

机构

Stanford University

权重公开

未核实

参数

未公开

架构

主干LLM

无

视觉编码器

ResNet18 (双目RGB)

动作头

目标姿态 50个动作块 → HST (回归)

动作块

50步

控制频率

25 Hz

架构原文摘要

Transformer(repo示例hidden 512，FF 512，解码器6层，ResNet18主干)；双目第一人称RGB特征 + 本体感觉 + 固定位置嵌入 → 50个目标位姿动作块，机载25 Hz异步下发给HST

训练

预训练加速器

未公开

预训练时长

未公开

预训练步数·批量

repo示例100,000步 · 批量48 (lr 1e-5)

GPU·TPU-小时

未公开

微调

不适用

数据类型

真实机器人遥操作

数据规模

每项任务最多40个演示(跟随采集)

主要数据集

自有跟随(shadowing)演示

任务·评估

Fold Clothes 100%(40条演示)，Rearrange Objects 90%(30)，Type AI 80%(30)，Two-Robot Greeting 90%(30)，Warehouse 90%(25)，Wear a Shoe and Walk 60%(40)

机器人

基于Unitree H1的33-DoF人形机器人 + Inspire-Robots RH56DFX手，身高180cm

推理

推理设备·速度

机载25 Hz

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

机载

强化学习与底盘

强化学习

部分 (结合RL底层控制器) · HIT对遥操作数据做模仿学习,执行由RL训练的HST负责

底盘控制

人形双足 (指令/潜变量 → RL行走控制器) · HIT将目标位姿动作块异步传给HST → HST执行含腿部的全身关节 (自主'穿鞋行走'中的前进行走)

备注

核心特点

用跟随(shadowing)采集的每任务最多40条演示学习自主全身技能的视觉-运动策略。与底层HST构成两级结构。

备注

repo示例中的--dec_layers 6·--backbone resnet18为核验NEW。训练GPU·时间未公开。代码·数据已公开，检查点未核实。

核验

已确认