VLA ギャラリー / モデル一覧 / ヒューマノイド全身制御器

GMT

GMT (General Motion Tracking)

UC San Diego·Simon Fraser University · 2025-06

VAヒューマノイド全身制御器非公開RL方策

適応サンプリング(10秒超のモーションを10秒に切り、完了度で重み付け)とMoEにより、単一方策が多様な人間動作を追従する。

論文

GMT: General Motion Tracking for Humanoid Whole-Body ControlarXiv 2506.14770

概要

分類

ヒューマノイド全身制御器

タイプ

VA

発表

2025-06

機関

UC San Diego·Simon Fraser University

重み公開

あり

パラメータ

非公開

構造

バックボーンLLM

なし

ビジョンエンコーダ

—

アクションヘッド

関節目標 (RL方策)

チャンク

非公開

制御周期

50 Hz

構造の原文要約

Motion Mixture-of-Experts MLP(エキスパートネットワーク群 + ゲーティングネットワーク) + 畳み込みモーションエンコーダ(未来フレーム → 128次元潜在); 学生は固有感覚20ステップの履歴でDAgger; シミュレーション500 Hz・制御50 Hz

学習

事前学習アクセラレータ

RTX 4090 × 1

事前学習期間

教師 約3日 + 生徒 約1日

事前学習ステップ・バッチ

4096並列env (IsaacGym); ステップ非公開

GPU・TPU時間

96 (換算 · RTX 4090-時間 (1 × (約3日 + 約1日) × 24 h))

ファインチューニング

該当なし

データ種類

モーションキャプチャ

データ規模

AMASS・LAFAN1部分集合 8925クリップ・33.12時間

主要データセット

AMASS, LAFAN1

タスク・評価

MPKPE・MPJPE・速度の追跡誤差を評価; 実機Unitree G1で汎用動作追跡

ロボット

Unitree G1(23 DoF、身長1.32 m)

推論

推論デバイス・速度

制御50 Hz

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

非公開

強化学習・ベース

強化学習

使用 (RL制御器の学習) · RL教師(約3日) → DAgger学生(約1日)、RTX 4090 1枚

ベース制御

ヒューマノイド歩行 (RL方策が直接駆動) · 全身モーション追従方策が参照モーションに従い23 DoF関節目標を直接出力 (歩行・走行・キック・横歩き)

備考

主な特徴

適応サンプリング(10秒超のモーションを10秒に切り、完了度で重み付け)とMoEにより、単一方策が多様な人間動作を追従する。単一RTX 4090で教師約3日・学生約1日で学習する。

備考

HTML抽出の'33 days'・'11 day'・'89,258 clips'は誤読で、PDFの値が正しい。MuJoCo sim2sim用の事前学習チェックポイントを公開。

検証

確認