VLA 图库 / 模型列表 / 人形机器人VLA

Being-H0

Peking University·Renmin University of China·BeingBeyond · 2025-07

VLA人形机器人VLA1B / 8B / 14B离散token

采用串联人手视频VLA预训练、物理空间对齐、机器人任务后训练的'physical instruction tuning'。

论文

Being-H0: Vision-Language-Action Pretraining from Large-Scale Human VideosarXiv 2507.15597

概述

分类

人形机器人VLA

类型

VLA

发布

2025-07

机构

Peking University·Renmin University of China·BeingBeyond

权重公开

是

参数

1B / 8B / 14B

架构

主干LLM

InternVL3结构 (内部LLM未注明)

视觉编码器

InternViT-300M

动作头

MANO手部动作token (GRQ) (离散token)

动作块

未公开

控制频率

未公开

架构原文摘要

InternVL3结构(视觉编码器InternViT-300M) + 部件级MANO手部动作token(手腕·手指分别grouped residual quantization,码本Kw=Kf=4096),动作15 FPS

训练

预训练加速器

A800-80G × 32 (ViT适配器·LLM主干联合训练)

预训练时长

未公开

预训练步数·批量

步数未公开 · batch 128 (AdamW，lr 1×10⁻⁵)

GPU·TPU-小时

未公开

微调

GPU·时间未公开；每任务用50~100条遥操作轨迹(Gello)做后训练

数据类型

动作捕捉 / 人类视频 / 实机遥操作

数据规模

UniHand 440K+条轨迹·130M+帧·1,100小时+视频；预训练使用2.5M样本(UniHand-2.5M)

主要数据集

UniHand(11个来源：ARCTIC·FPHA·H2O·HOI4D等动作捕捉，EgoDex·HoloAssist VR录制，Taste-Rob伪标签RGB视频)

任务·评估

真实机器人Pour-Cup 100%，Close-Toolbox 85%，Pick-Place-Toy 75%(seen)/65%(unseen)/60%(clutter)，Unfold-Clothes 75%，Close-Lid 60%

机器人

Franka Research 3(7-DoF) + Inspire手(6-DoF) + RealSense L515；非人形机器人

推理

推理设备·速度

未公开

推理显存

未公开

权重 bf16（计算）

28 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 人手动作预训练 + 模仿学习

底盘控制

固定 · 无底盘控制（Franka FR3 + Inspire手，仅EE位姿·手部关节）

备注

核心特点

采用串联人手视频VLA预训练、物理空间对齐、机器人任务后训练的'physical instruction tuning'。实机评估使用的是Franka机械臂 + Inspire灵巧手而非人形机器人，处于范围边界。

备注

参数(B)为最大变体14B。机构在核查中补充Peking Univ.·Renmin Univ.并修正。样本数论文内部冲突(§5.1 165M+ vs 贡献列表150M+)。数据时间1100为'超过1,100小时'的下限值。权重1B/8B/14B·8B-Align于2025-08-02公开，代码MIT(README徽章)。

核验

已反映修正