VLA 图库 / 模型列表 / 人形机器人全身控制器

TWIST

TWIST (Teleoperated Whole-Body Imitation System)

Stanford University·Simon Fraser University · 2025-05

VA人形机器人全身控制器未公开RL策略

以PPO特权教师和RL+BC联合优化学生实现基于动捕的全身遥操作。

论文

TWIST: Teleoperated Whole-Body Imitation SystemarXiv 2505.02833

概述

分类

人形机器人全身控制器

类型

VA

发布

2025-05

机构

Stanford University·Simon Fraser University

权重公开

是

参数

未公开

架构

主干LLM

无

视觉编码器

—

动作头

关节位置指令 (RL策略)

动作块

未公开

控制频率

50 Hz (PD 1000 Hz)

架构原文摘要

MLP [512, 512, 256, 128](SiLU, LayerNorm) + Conv1d动作编码器(latent 128),历史10;动捕参考 → 关节位置指令50 Hz,PD 1000 Hz;repo中的Transformer块被注释掉

训练

预训练加速器

RTX 4090 × 1 (README)

预训练时长

1~2天 (README)

预训练步数·批量

教师 max_iterations 30_002，4096 env（repo）

GPU·TPU-小时

未公开

微调

不适用

数据类型

动作捕捉

数据规模

AMASS·OMOMO 15,000+个片段(约42小时) + 内部动捕150个片段(约0.5小时)

主要数据集

AMASS，OMOMO，内部动作捕捉

任务·评估

全身操作·用腿操作·行走·表情动作遥操作

机器人

Unitree G1(29 DoF)；Booster T1仅仿真

推理

推理设备·速度

RTX 4090上关节位置指令50 Hz, PD 1000 Hz;OptiTrack动捕120 Hz;遥操作延迟约0.9秒

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

本地PC（RTX 4090）

强化学习与底盘

强化学习

使用 (RL控制器训练) · PPO教师 → RL·BC联合优化学生

底盘控制

人形双足 (RL策略直接驱动) · 跟踪动捕参考（关节位置·根速度）→ 全身关节位置指令 50 Hz（侧步·后退·蹲行通过·踢腿）

备注

核心特点

以PPO特权教师和RL+BC联合优化学生实现基于动捕的全身遥操作。在单张RTX 4090上1~2天即可训练完成。

备注

训练GPU·时间不在论文中，为README值(核查确认)。2025-09-29全面公开(动作数据，教师·学生训练代码，sim2real脚本，通用动作跟踪器检查点)。数据时间仅计入公开数据约42小时，内部约0.5小时另计。

核验

已确认