VLA 图库 / 模型列表 / 人形机器人VLA

Humanoid-VLA

Westlake University·Westlake Robotics·Zhejiang University · 2025-02

VLA人形机器人VLA基于Llama3-70B离散token

由语言与第一人称视觉生成全身动作、再由RL跟踪器执行的分层结构。

论文

主干LLM: Llama 3 70B
视觉编码器: —
动作头: 分部位VQ动作token（5个部位） (离散token)
动作块: 未公开
控制频率: 未公开
架构原文摘要: 基于Llama3-70B;分层VQ动作tokenizer(左·右腿、躯干、左·右臂5个部位token,码本1,024);视觉以语言token为query进行cross-attention;由IsaacGym PPO目标条件RL策略将生成动作转换为关节指令

预训练加速器: H100 × 8
预训练时长: 216小时
预训练步数·批量: 步数未公开 · 每设备batch 4 (lr 2e-5，cosine，warmup 0.01)
GPU·TPU-小时: 1,728 (换算 · H100-小时 (8 × 216 h))
微调: 未公开；下层RL跟踪器为IsaacGym（env数·GPU·时间未公开）
数据类型: 动作捕捉 / 人类视频 / 仿真·合成
数据规模: 动作捕捉 29K片段·0.3M帧·4.1 h；在线视频 0.8M片段·541M帧·7515.7 h；合成 100K片段·16M帧·227.7 h；Total 0.929M片段·557.3M帧·7790.2 h
主要数据集: 自建(动作捕捉·在线视频·合成动作)；评估HumanML3D，Humanoid-S
任务·评估: 真实Unitree G1 8项任务 × 10次(踢球9/10；避障·转向物体·抓物体·挥手·跳跃·跳舞·出拳)；HumanML3D FID 0.467±.018，DIV 4.585±.086；新建Humanoid-S基准(人工标注视频4,646个)
机器人: Unitree G1全身

强化学习: 部分 (结合RL底层控制器) · LLM动作token生成为监督学习,执行为IsaacGym PPO目标条件RL跟踪器
底盘控制: 人形双足 (指令/潜变量 → RL行走控制器) · VLA生成含腿部的分部位运动token → 目标条件RL全身控制器转换为PD关节目标 (避障移动·跳跃·踢)

核心特点: 由语言与第一人称视觉生成全身动作、再由RL跟踪器执行的分层结构。通过<Track>·<Time>·<Occlusion>·<State>自监督增强，无需人工标注即构建出相比已有研究25倍规模的数据。
备注: Total行在笔记中遗漏，但核验中确认HTML·PDF均存在(NEW)。原文Total时间7790.2 h与三行时间值之和不符(片段·帧数之和一致)；按原文照录。参数(B)因总参数未公开为null(基础LLM Llama3-70B)。
核验: 已确认