VLA ギャラリー / モデル一覧 / ヒューマノイド全身制御器

HOVER

NVIDIA·CMU·UC Berkeley·UT Austin·UC San Diego · 2024-10

VAヒューマノイド全身制御器非公開RL方策

指令モード・スパースマスクで複数の制御モードを1つのマルチモーダル全身方策に統合する。

論文

HOVER: Versatile Neural Whole-Body Controller for Humanoid RobotsarXiv 2410.21229

概要

分類

ヒューマノイド全身制御器

タイプ

VA

発表

2024-10

機関

NVIDIA·CMU·UC Berkeley·UT Austin·UC San Diego

重み公開

未確認

パラメータ

非公開 (MLP [512, 256, 128])

構造

バックボーンLLM

なし

ビジョンエンコーダ

—

アクションヘッド

関節目標 (マルチモードマスク) (RL方策)

チャンク

非公開

制御周期

非公開

構造の原文要約

3層MLP [512, 256, 128]; 生徒は直近25ステップの固有受容感覚 + モード・疎マスク(B(0.5)サンプル) → 関節目標; オラクル教師からDAgger蒸留

学習

事前学習アクセラレータ

RTX 4090 / RTX A6000 / L40のいずれか1枚 (repo、Isaac Lab 2.0.0で再実装); 論文はIsaacGym、GPU非公開

事前学習期間

教師の100,000 反復: RTX 4090 23.3時間 / A6000 52.8時間 / L40 44.6時間; 生徒の10,000 反復: 0.27 / 0.50 / 0.49時間 (repo)

事前学習ステップ・バッチ

教師 100,000 反復 + 生徒 10,000 反復(repoの表); 通常は50k~80k 反復で十分、例は1,024 env

GPU・TPU時間

24 (換算 · RTX 4090-時間 (1 × (教師23.3 h + 学生0.27 h)、repoの再実装に基づく))

ファインチューニング

該当なし

データ種類

モーションキャプチャ

データ規模

H1リターゲティングAMASS(サブセットのサイズ非公開); 全体のリターゲティングは32コアCPUで最大4日

主要データセット

AMASS

タスク・評価

追跡誤差・モード切替の評価; 実機の立位動作シーケンス20個

ロボット

Unitree H1(19-DOF、約51.5 kg、約1.8 m)

推論

推論デバイス・速度

制御周期は非公開

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

非公開

強化学習・ベース

強化学習

使用 (RL制御器の学習) · オラクルRL教師 → DAgger生徒への蒸留

ベース制御

ヒューマノイド歩行 (RL方策が直接駆動) · マルチモード指令(ルート速度・高さ・姿勢、キーポイント、関節角) → 全身19 DoFの関節目標を出力、実環境で前進歩行を実演

備考

主な特徴

指令モード・スパースマスクで複数の制御モードを1つのマルチモーダル全身方策に統合する。repoの再実装は単一GPUで教師を約1日で学習する。

備考

学習時間は論文ではなくrepo(Isaac Lab 2.0.0再実装)の値。コードApache 2.0、チェックポイントは未確認。検証はrepoの値(学習時間・env・イテレーション)のみが対象。

検証

確認