VLA 图库 / 模型列表 / 人形机器人全身控制器

Challenging-Terrain Transformer

Challenging-Terrain Transformer (Learning Humanoid Locomotion over Challenging Terrain)

UC Berkeley · 2024-10

VA人形机器人全身控制器1.4MRL策略

用现有策略·基于模型的控制器·人体动作捕捉轨迹进行序列建模预训练，再用RL微调。

论文

Learning Humanoid Locomotion over Challenging TerrainarXiv 2410.03654

概述

分类

人形机器人全身控制器

类型

VA

发布

2024-10

机构

UC Berkeley

权重公开

未核实

参数

1.4M

架构

主干LLM

无

视觉编码器

—

动作头

关节目标 + PD增益 (RL策略)

动作块

未公开

控制频率

50 Hz

架构原文摘要

1.4M Transformer，上下文16步；以50 Hz预测关节目标位置和PD增益

训练

预训练加速器

A100 × 4

预训练时长

未公开

预训练步数·批量

300个epoch · 全局小批量4,096

GPU·TPU-小时

未公开

微调

RL微调: A10 × 1, MuJoCo, 2,048并行env × 每env 24步 × 2,000次迭代(~100M env步),约1天

数据类型

仿真·合成 / 动作捕捉

数据规模

预训练轨迹数未公开；RL微调~100M样本

主要数据集

前人工作的神经网络策略轨迹、基于模型的控制器轨迹、已有的人类行走动作捕捉

任务·评估

伯克利山路徒步4英里以上，坡度超过31%的旧金山道路行走

机器人

Agility Digit

推理

推理设备·速度

50 Hz

推理显存

未公开

权重 bf16（计算）

0 GB

运行位置

未公开

强化学习与底盘

强化学习

使用 (RL控制器训练) · 轨迹序列预训练后进行MuJoCo RL微调（环境 2,048个，约 1亿步）

底盘控制

人形双足 (RL策略直接驱动) · Transformer接收速度指令，以50 Hz直接输出关节目标·PD增益，在崎岖地形行走 (Digit)

备注

核心特点

用现有策略·基于模型的控制器·人体动作捕捉轨迹进行序列建模预训练，再用RL微调。是Transformer直接承担关节级策略的少见案例。

备注

预训练wall-clock未公开。微调compute仅记录在微调栏。

核验

已确认