VLA 图库 / 模型列表 / 人形机器人全身控制器

BeyondMimic

UC Berkeley·Stanford University · 2025-08

VA人形机器人全身控制器扩散策略19.95M；MLP跟踪器未公开diffusion

通过自适应采样学习长动作中的困难片段，无需参数调整即可将LAFAN1动作迁移到实机。

论文

BeyondMimic: From Motion Tracking to Versatile Humanoid Control via Guided DiffusionarXiv 2508.08241

概述

分类

人形机器人全身控制器

类型

VA

发布

2025-08

机构

UC Berkeley·Stanford University

权重公开

未核实

参数

扩散策略19.95M；MLP跟踪器未公开

架构

主干LLM

无

视觉编码器

—

动作头

扩散规划器 (Transformer 6层，19.95M) (diffusion)

动作块

未公开

控制频率

未公开

架构原文摘要

MLP跟踪器(actor·critic [512, 256, 128], ELU): 本体感知 + 参考动作 → 关节目标 / 引导扩散策略: Transformer解码器6层·4头·512维

训练

预训练加速器

未公开 (Isaac Lab v2.1.0，repo)

预训练时长

未公开

预训练步数·批量

max_iterations 30000 · 每env 24步，4096 env (repo)；sim dt 0.005，decimation 4

GPU·TPU-小时

未公开

微调

不适用

数据类型

动作捕捉 / 仿真·合成

数据规模

人类动作约2.5小时(v4)；实机部署30个片段(15分钟)；扩散策略数据为域随机化专家策略rollout(规模未公开)

主要数据集

Unitree重定向LAFAN1，先前研究数据集，在线动画数据

任务·评估

Unitree G1侧手翻·冲刺·360°旋转跳；用扩散策略进行航点导航·摇杆遥操作·避障(每个摇杆实验50次)

机器人

Unitree G1

推理

推理设备·速度

跟踪器：机器人CPU ONNX Runtime，每步不到1.0 ms / 扩散策略：机外RTX 4060 Mobile TensorRT，去噪20步约20 ms

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

外置笔记本 + 机器人CPU

强化学习与底盘

强化学习

使用 (RL控制器训练) · 用Isaac Lab actor-critic RL(4,096个环境)训练MLP跟踪器。扩散规划器为监督学习

底盘控制

人形双足 (RL策略直接驱动) · 跟踪策略跟随参考动作直接输出全身关节PD目标(行走·跑步·侧手翻)；扩散策略通过摇杆速度·航点代价引导生成行走

备注

核心特点

通过自适应采样学习长动作中的困难片段，无需参数调整即可将LAFAN1动作迁移到实机。扩散策略在测试时通过引导跟随航点·摇杆·避障目标。

备注

参数(B)因总参数未公开为null(仅公开扩散策略19.95M，跟踪器未公开)。架构以扩散规划器为准为Transformer，跟踪器为MLP。各动作收敛迭代次数(Cristiano Ronaldo 1.5k，舞蹈8k~10k)†。先前HTML版为LAFAN1参考40个(各数分钟)。arXiv v4 2025-11-13。跟踪训练代码MIT，检查点未注明。

核验

已确认