VLA ギャラリー / モデル一覧 / ヒューマノイド全身制御器

TWIST

TWIST (Teleoperated Whole-Body Imitation System)

Stanford University·Simon Fraser University · 2025-05

VAヒューマノイド全身制御器非公開RL方策

PPO特権教師とRL+BC共同最適化の学生で、モーキャプベースの全身遠隔操作を行う。

論文

TWIST: Teleoperated Whole-Body Imitation SystemarXiv 2505.02833

概要

分類

ヒューマノイド全身制御器

タイプ

VA

発表

2025-05

機関

Stanford University·Simon Fraser University

重み公開

あり

パラメータ

非公開

構造

バックボーンLLM

なし

ビジョンエンコーダ

—

アクションヘッド

関節位置指令 (RL方策)

チャンク

非公開

制御周期

50 Hz (PD 1000 Hz)

構造の原文要約

MLP [512, 512, 256, 128](SiLU, LayerNorm) + Conv1dモーションエンコーダ(latent 128)、履歴10; モーキャプ参照 → 関節位置指令50 Hz、PD 1000 Hz; repoのTransformerブロックはコメントアウト

学習

事前学習アクセラレータ

RTX 4090 × 1 (README)

事前学習期間

1~2日 (README)

事前学習ステップ・バッチ

教師 max_iterations 30_002、4096 env (repo)

GPU・TPU時間

非公開

ファインチューニング

該当なし

データ種類

モーションキャプチャ

データ規模

AMASS・OMOMO 15,000+クリップ(約42時間) + 社内モーキャプ150クリップ(約0.5時間)

主要データセット

AMASS、OMOMO、社内モーションキャプチャ

タスク・評価

全身操作・脚を使う操作・歩行・表現動作の遠隔操作

ロボット

Unitree G1(29 DoF); Booster T1はシミュレーションのみ

推論

推論デバイス・速度

RTX 4090で関節位置指令50 Hz、PD 1000 Hz; OptiTrackモーキャプ120 Hz; 遠隔操作の遅延約0.9秒

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

ローカルPC (RTX 4090)

強化学習・ベース

強化学習

使用 (RL制御器の学習) · PPO教師 → RL・BC共同最適化の学生

ベース制御

ヒューマノイド歩行 (RL方策が直接駆動) · モーキャプ参照(関節位置・ルート速度)の追従 → 全身関節位置指令 50 Hz (横歩き・後ろ歩き・しゃがみ通過・キック)

備考

主な特徴

PPO特権教師とRL+BC共同最適化の学生で、モーキャプベースの全身遠隔操作を行う。単一RTX 4090で1~2日あれば学習できる。

備考

学習GPU・時間は論文になくREADMEの値(検証で確認)。2025-09-29に全面公開(モーションデータ、教師・学生学習コード、sim2realスクリプト、汎用モーショントラッカーのチェックポイント)。データ時間は公開データ約42時間のみ反映、社内約0.5時間は別。

検証

確認