VLA 图库 / 模型列表 / 人形机器人VLA

UH-1 (Humanoid-X)

USC·UC Berkeley·Toyota Research Institute · 2024-12

기타人形机器人VLA未公开离散token

是无视觉输入、将语言转换为人形机器人动作的VLA相邻模型。

论文

Learning from Massive Human Videos for Universal Humanoid Pose ControlarXiv 2412.14172

概述

分类

人形机器人VLA

类型

기타

发布

2024-12

机构

USC·UC Berkeley·Toyota Research Institute

权重公开

未核实

参数

未公开 (18层·16头·1,024维)

架构

主干LLM

无

视觉编码器

—

动作头

VQ-VAE动作token (离散token)

动作块

未公开

控制频率

50 fps

架构原文摘要

18层·16头·1,024维Transformer + VQ-VAE动作分词器(码本2048 × 512，下采样k=4)；文本→关键点(目标条件RL策略，闭环)或文本→关节目标(开环，下肢用单独的行走策略)，动作序列50 fps

训练

预训练加速器

RTX 6000 Ada × 1

预训练时长

完整Humanoid-X：tokenizer约40小时 + Transformer约400小时 (HumanoidML3D子集：约8小时 + 约30小时)

预训练步数·批量

未公开

GPU·TPU-小时

440 (换算 · RTX 6000 Ada-小时 (1 × (约40 h + 约400 h)，完整Humanoid-X))

微调

不适用；下层RL策略为Isaac Gym 6192 env，PPO(γ 0.99，λ 0.95)，GPU·时间未公开

数据类型

人类视频 / 动作捕捉

数据规模

Humanoid-X 163.8K动作样本·240.3小时视频·20.7M帧,词表3206词

主要数据集

Humanoid-X(AIST, AMASS, Charades, EgoBody, GRAB, HAA500, HuMMan, IDEA400, Kinetics700, MotionX Video, YouTube;字幕 Video-LLaMA)

任务·评估

真实Unitree H1-2语言指令12条 × 10次，两种模式均'接近100%'(Table 3各任务80~100%)

机器人

Unitree H1-2全身姿态控制

推理

推理设备·速度

未公开

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

部分 (结合RL底层控制器) · Transformer为监督学习，关键点模式执行由IsaacGym PPO目标条件RL策略完成(环境6,192个)

底盘控制

固定 · 真实机器人以文本→动作开环仅控制上半身位姿，下半身为独立的预训练行走策略 (评估任务中无行走)

备注

核心特点

是无视觉输入、将语言转换为人形机器人动作的VLA相邻模型。用将互联网人类视频重定向为人形机器人动作的Humanoid-X训练。

备注

是无视觉输入的VLA相邻模型，因此类型为'其他'。发布时数据·代码未公开（'will fully release in the future'），当前状态未核实。HTML提取中的词汇量'11,897'有误，PDF原文为3206。

核验

已确认