VLA ギャラリー / モデル一覧 / ヒューマノイド全身制御器

OmniH2O

Carnegie Mellon University·Shanghai Jiao Tong University · 2024-06

VAヒューマノイド全身制御器非公開RL方策

VR・RGBキーポイントで全身を遠隔操作するトラッカーであり、集めたデモで自律方策を学習するプラットフォームである。

論文

OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and LearningarXiv 2406.08858

概要

分類

ヒューマノイド全身制御器

タイプ

VA

発表

2024-06

機関

Carnegie Mellon University·Shanghai Jiao Tong University

重み公開

未確認

パラメータ

非公開 (MLP [512, 256, 128])

構造

バックボーンLLM

なし

ビジョンエンコーダ

—

アクションヘッド

関節目標 (RL方策)

チャンク

非公開

制御周期

50 Hz (PD 200 Hz)

構造の原文要約

MLP [512, 256, 128](GRU・LSTMの学生バリアントも実験)、学生は25ステップの履歴; VRまたはRGBキーポイント入力 → 関節目標、方策50 Hz・PD 200 Hz

学習

事前学習アクセラレータ

非公開 (Isaac Gym preview 4、repo)

事前学習期間

非公開

事前学習ステップ・バッチ

4096 env (repoの学習コマンド)

GPU・TPU時間

非公開

ファインチューニング

該当なし

データ種類

モーションキャプチャ / 実ロボットテレオペレーション

データ規模

リターゲティング・拡張したAMASS 14k シーケンス(シミュレーション評価セット); OmniH2O-6 実テレオペレーションデモ 計40分(タスク別 8,535~18,436 フレーム)

主要データセット

AMASS(リターゲティング・拡張)、OmniH2O-6

タスク・評価

シミュレーションの追跡指標; 実機の自律6タスク(OmniH2O-6、Diffusion Policy・ResNet BC)

ロボット

Unitree H1 + ハンド

推論

推論デバイス・速度

方策50 Hz、PD制御器200 Hz

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

非公開

強化学習・ベース

強化学習

使用 (RL制御器の学習) · RL教師(特権情報) → DAgger学生に蒸留

ベース制御

ヒューマノイド歩行 (RL方策が直接駆動) · 全身RL方策がキーポイント・ジョイスティック目標を受けて脚を含む関節目標を出力 (ジョイスティックで前後歩行、'Walk forward 0.5m')

備考

主な特徴

VR・RGBキーポイントで全身を遠隔操作するトラッカーであり、集めたデモで自律方策を学習するプラットフォームである。GPT-4o連携の自律動作も示した。

備考

READMEのコマンドにはshort_history_length 0/5/50のバリアントもある。コードはCC BY-NC 4.0、チェックポイントは未確認。arXiv v1 2024-06-13、CoRL 2024。データ時間は分単位(40分)のためnull。検証はrepoの値(Isaac Gym・env・ライセンス・履歴)のみが対象。

検証

確認