VLA ギャラリー / モデル一覧 / ヒューマノイドVLA

HAT

HAT (Humanoid Policy ~ Human Policy, PH²D)

UC San Diego·CMU·University of Washington·MIT·Apple · 2025-03

VAヒューマノイドVLA非公開CVAE

人のVRデモとヒューマノイドのテレオペレーションを同じ54次元行動空間で共同学習する。

論文

Humanoid Policy ~ Human PolicyarXiv 2503.13441

概要

分類

ヒューマノイドVLA

タイプ

VA

発表

2025-03

機関

UC San Diego·CMU·University of Washington·MIT·Apple

重み公開

未確認

パラメータ

非公開

構造

バックボーンLLM

なし

ビジョンエンコーダ

DINOv2 ViT-S (凍結)

アクションヘッド

人中心の54次元行動チャンク (CVAE)

チャンク

非公開

制御周期

非公開

構造の原文要約

ACT系 Human Action Transformer; 凍結DINOv2 ViT-S + 中間層視覚アダプタ(ACTのResNet-18を置換); 人間中心の統合行動空間54次元(頭・両手首の回転6D、手首位置xyz、指先10個の3Dキーポイント)、行動チャンク

学習

事前学習アクセラレータ

非公開

事前学習期間

非公開

事前学習ステップ・バッチ

非公開

GPU・TPU時間

非公開

ファインチューニング

該当なし

データ種類

人の動画 / 実ロボットのテレオペレーション

データ規模

人のデモ26,824件(~3.02Mフレーム)、ロボットデモ1,552件(~668kフレーム); フレーム数は原文が30 Hzを仮定して推定

主要データセット

PH²D(Apple Vision Pro、Meta Quest 3・Apple Vision Pro + ZEDカメラ)

タスク・評価

OOD評価: カップ受け渡し52/60、水平把持12/30、垂直把持29/70、注ぐ8/10

ロボット

Unitree H1 + 6-DoF Inspireハンド(両手操作)

推論

推論デバイス・速度

非公開 (制御周期は非公開)

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 人・ロボットデータによる模倣学習

ベース制御

固定 · ベース制御なし (下半身は非駆動と明記; 頭・手首・指先の54次元のみ)

備考

主な特徴

人のVRデモとヒューマノイドのテレオペレーションを同じ54次元行動空間で共同学習する。人の把持デモは3.79±0.27秒で、テレオペレーションの19.72±1.65秒より速く収集できる。

備考

言語条件がないためタイプはVA。READMEの学習例(NEW; MuJoCoシミュレーションの例で論文の設定ではない): 単一GPU(VRAM 24GB以上)、chunk 100、batch 64、50000 epochs、lr 1e-4。

検証

確認