VLA ギャラリー / モデル一覧 / ヒューマノイド全身制御器

HumanPlus HST

HumanPlus HST (Humanoid Shadowing Transformer)

Stanford University · 2024-06

VAヒューマノイド全身制御器非公開RL方策

人の動作をリアルタイムでヒューマノイドに移すシャドーイング用の低レベルトラッカーである。

論文

HumanPlus: Humanoid Shadowing and Imitation from HumansarXiv 2406.10454

概要

分類

ヒューマノイド全身制御器

タイプ

VA

発表

2024-06

機関

Stanford University

重み公開

未確認

パラメータ

非公開 (repoデフォルト 4層・128次元・4ヘッド)

構造

バックボーンLLM

なし

ビジョンエンコーダ

—

アクションヘッド

関節位置目標 (19次元) (RL方策)

チャンク

非公開

制御周期

50 Hz

構造の原文要約

デコーダのみのTransformer(repoデフォルト 4層・latent 128・4ヘッド、dropout 0.1)、文脈 8ステップ; 固有感覚 + 目標姿勢 → 19次元関節位置目標、50 Hz

学習

事前学習アクセラレータ

非公開 (Isaac Gym PPO、repo)

事前学習期間

非公開

事前学習ステップ・バッチ

max_iterations 15000 · envあたり32ステップ、2048 env (repo H1 config)

GPU・TPU時間

非公開

ファインチューニング

該当なし

データ種類

モーションキャプチャ

データ規模

AMASS 40時間、11,000以上のシーケンス†

主要データセット

AMASS

タスク・評価

リアルタイム全身シャドーイング(遠隔操作); HITと組み合わせた自律タスク Fold Clothes 100%(40デモ)、Warehouse 90%、Wear a Shoe and Walk 60%

ロボット

Unitree H1ベースの33-DoFヒューマノイド + Inspire-Robots RH56DFXハンド、身長180cm

推論

推論デバイス・速度

50 Hz; シャドーイング時の人体姿勢推定・リターゲティングはRTX 4090で25 fps、手姿勢推定は10 fps

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

非公開

強化学習・ベース

強化学習

使用 (RL制御器の学習) · Isaac Gym PPO(環境2,048個、15,000反復)でシャドーイングTransformerを学習

ベース制御

ヒューマノイド歩行 (RL方策が直接駆動) · HSTが目標の前後・左右・yaw速度・関節目標を受け、脚を含む19次元の関節位置を直接出力 (歩行・しゃがみ)

備考

主な特徴

人の動作をリアルタイムでヒューマノイドに移すシャドーイング用の低レベルトラッカーである。上位のHITが25 Hzで目標姿勢を非同期に渡す2段構成の下位層である。

備考

「11,000以上のシーケンス」は検証抽出で再確認できず†を付与。論文本文にシミュレータ・GPU・時間・パラメータの記載なし(Isaac Gym・env数・反復数はrepo)。コード・データ公開、チェックポイントは未確認。

検証

確認