VLA ギャラリー / モデル一覧 / ヒューマノイド全身制御器

HumanPlus HIT

HumanPlus HIT (Humanoid Imitation Transformer)

Stanford University · 2024-06

VAヒューマノイド全身制御器非公開回帰

シャドーイングで集めたタスクあたり最大40件のデモから自律的な全身スキルを学ぶ視覚運動方策である。

論文

HumanPlus: Humanoid Shadowing and Imitation from HumansarXiv 2406.10454

概要

分類

ヒューマノイド全身制御器

タイプ

VA

発表

2024-06

機関

Stanford University

重み公開

未確認

パラメータ

非公開

構造

バックボーンLLM

なし

ビジョンエンコーダ

ResNet18 (ステレオRGB)

アクションヘッド

目標姿勢50個のチャンク → HST (回帰)

チャンク

50ステップ

制御周期

25 Hz

構造の原文要約

Transformer(repo例 hidden 512、FF 512、デコーダ6層、ResNet18バックボーン); ステレオ一人称RGB特徴 + 固有感覚 + 固定位置埋め込み → 目標姿勢50個のチャンク、オンボード25 HzでHSTへ非同期に送信

学習

事前学習アクセラレータ

非公開

事前学習期間

非公開

事前学習ステップ・バッチ

repo例 100,000ステップ · バッチ48 (lr 1e-5)

GPU・TPU時間

非公開

ファインチューニング

該当なし

データ種類

実ロボットのテレオペレーション

データ規模

タスクあたり最大40個のデモ(シャドーイング収集)

主要データセット

独自のシャドーイングデモ

タスク・評価

Fold Clothes 100%(40デモ)、Rearrange Objects 90%(30)、Type AI 80%(30)、Two-Robot Greeting 90%(30)、Warehouse 90%(25)、Wear a Shoe and Walk 60%(40)

ロボット

Unitree H1ベースの33-DoFヒューマノイド + Inspire-Robots RH56DFXハンド、身長180cm

推論

推論デバイス・速度

オンボード 25 Hz

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

オンボード

強化学習・ベース

強化学習

一部 (RL下位制御器との結合) · HITはテレオペレーションデータの模倣学習、実行はRLで学習したHSTが担当

ベース制御

ヒューマノイド歩行 (指令・潜在 → RL歩行制御器) · HITが目標姿勢チャンクをHSTに非同期で渡す → HSTが脚を含む全身関節を実行 (自律「靴を履いて歩く」で前進歩行)

備考

主な特徴

シャドーイングで集めたタスクあたり最大40件のデモから自律的な全身スキルを学ぶ視覚運動方策である。低レベルのHSTと2段構成をなす。

備考

repo例の--dec_layers 6・--backbone resnet18は検証でNEW。学習GPU・時間は非公開。コード・データ公開、チェックポイントは未確認。

検証

確認