VLA 图库 / 模型列表 / 人形机器人VLA

HAT

HAT (Humanoid Policy ~ Human Policy, PH²D)

UC San Diego·CMU·University of Washington·MIT·Apple · 2025-03

VA人形机器人VLA未公开CVAE

将人类VR演示与人形机器人遥操作在同一54维动作空间中联合训练。

论文

Humanoid Policy ~ Human PolicyarXiv 2503.13441

概述

分类

人形机器人VLA

类型

VA

发布

2025-03

机构

UC San Diego·CMU·University of Washington·MIT·Apple

权重公开

未核实

参数

未公开

架构

主干LLM

无

视觉编码器

DINOv2 ViT-S (冻结)

动作头

以人为中心的54维动作块 (CVAE)

动作块

未公开

控制频率

未公开

架构原文摘要

ACT系Human Action Transformer；冻结DINOv2 ViT-S + 中间层视觉适配器(替代ACT的ResNet-18)；以人为中心的统一动作空间54维(头·双腕旋转6D，腕部位置xyz，10个指尖3D关键点)，动作块

训练

预训练加速器

未公开

预训练时长

未公开

预训练步数·批量

未公开

GPU·TPU-小时

未公开

微调

不适用

数据类型

人类视频 / 真实机器人遥操作

数据规模

人类演示26,824条(~3.02M帧)，机器人演示1,552条(~668k帧)；帧数为原文按30 Hz假设的估算

主要数据集

PH²D(Apple Vision Pro, Meta Quest 3·Apple Vision Pro + ZED相机)

任务·评估

OOD评估: 递杯52/60,水平抓取12/30,垂直抓取29/70,倒水8/10

机器人

Unitree H1 + 6-DoF Inspire手(双手操作)

推理

推理设备·速度

未公开 (控制周期未公开)

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 人类·机器人数据模仿学习

底盘控制

固定 · 无底盘控制（明示下半身不驱动；仅头·手腕·指尖 54维）

备注

核心特点

将人类VR演示与人形机器人遥操作在同一54维动作空间中联合训练。人类抓取演示采集用时3.79±0.27秒，快于遥操作的19.72±1.65秒。

备注

因无语言条件，类型为VA。README训练示例(NEW；为MuJoCo仿真示例，非论文设置)：单GPU(VRAM 24GB以上)，chunk 100，batch 64，50000 epochs，lr 1e-4。

核验

已确认