UH-1 (Humanoid-X)

USC·UC Berkeley·Toyota Research Institute · 2024-12

기타ヒューマノイドVLA非公開離散トークン

ビジョン入力なしに言語をヒューマノイドの動作に変換するVLA隣接モデルである。

論文

バックボーンLLM: なし
ビジョンエンコーダ: —
アクションヘッド: VQ-VAE行動トークン (離散トークン)
チャンク: 非公開
制御周期: 50 fps
構造の原文要約: 18層・16ヘッド・1,024次元Transformer + VQ-VAE行動トークナイザ(コードブック2048 × 512、ダウンサンプル k=4); テキスト→キーポイント(目標条件付きRL方策、閉ループ)またはテキスト→関節目標(開ループ、下半身は別の歩行方策)、行動シーケンス50 fps

事前学習アクセラレータ: RTX 6000 Ada × 1
事前学習期間: Humanoid-X全体: トークナイザ約40時間 + Transformer約400時間 (HumanoidML3D部分集合: 約8時間 + 約30時間)
事前学習ステップ・バッチ: 非公開
GPU・TPU時間: 440 (換算 · RTX 6000 Ada-時間 (1 × (約40 h + 約400 h)、Humanoid-X全体))
ファインチューニング: 該当なし; 下位RL方策はIsaac Gym 6192 env、PPO(γ 0.99、λ 0.95)、GPU・時間は非公開
データ種類: 人の動画 / モーションキャプチャ
データ規模: Humanoid-X 163.8Kモーションサンプル・240.3時間の映像・20.7Mフレーム、語彙3206語
主要データセット: Humanoid-X(AIST, AMASS, Charades, EgoBody, GRAB, HAA500, HuMMan, IDEA400, Kinetics700, MotionX Video, YouTube; キャプションVideo-LLaMA)
タスク・評価: 実機Unitree H1-2 言語命令12個 × 10回、両モードとも'ほぼ100%'(Table 3のタスク別80~100%)
ロボット: Unitree H1-2全身姿勢制御

強化学習: 一部 (RL下位制御器との結合) · Transformerは教師あり学習、キーポイントモードの実行はIsaacGym PPO目標条件付きRL方策(環境6,192個)
ベース制御: 固定 · 実ロボットはテキスト→行動の開ループで上半身の姿勢のみ制御、下半身は別の事前学習済み歩行方策 (評価タスクに歩行なし)

主な特徴: ビジョン入力なしに言語をヒューマノイドの動作に変換するVLA隣接モデルである。インターネット上の人の動画をヒューマノイド動作にリターゲティングしたHumanoid-Xで学習する。
備考: ビジョン入力のないVLA隣接モデルのためタイプは「その他」。発表時はデータ・コード非公開('will fully release in the future')、現在の状態は未確認。HTML抽出の語彙'11,897'は誤りで、PDF原文は3206。
検証: 確認