Humanoid-VLA

Westlake University·Westlake Robotics·Zhejiang University · 2025-02

VLAヒューマノイドVLALlama3-70B構成離散トークン

言語と一人称視覚から全身モーションを生成し、RLトラッカーが実行する階層構造である。

論文

バックボーンLLM: Llama 3 70B
ビジョンエンコーダ: —
アクションヘッド: 部位別VQモーショントークン (5部位) (離散トークン)
チャンク: 非公開
制御周期: 非公開
構造の原文要約: Llama3-70B構成; 階層的VQモーショントークナイザ(左右の脚、胴体、左右の腕の5部位トークン、コードブック1,024); ビジョンは言語トークンをクエリとするcross-attention; 生成モーションをIsaacGym PPOの目標条件付きRL方策が関節指令に変換

事前学習アクセラレータ: H100 × 8
事前学習期間: 216時間
事前学習ステップ・バッチ: ステップ非公開 · デバイスあたりバッチ4 (lr 2e-5, cosine, warmup 0.01)
GPU・TPU時間: 1,728 (換算 · H100-時間 (8 × 216 h))
ファインチューニング: 非公開; 下位RLトラッカーはIsaacGym(env数・GPU・時間は非公開)
データ種類: モーションキャプチャ / 人の動画 / シミュレーション・合成
データ規模: モーションキャプチャ 29K クリップ・0.3M フレーム・4.1 h; オンライン動画 0.8M クリップ・541M フレーム・7515.7 h; 合成 100K クリップ・16M フレーム・227.7 h; Total 0.929M クリップ・557.3M フレーム・7790.2 h
主要データセット: 独自構築(モーションキャプチャ・オンライン動画・合成モーション); 評価 HumanML3D、Humanoid-S
タスク・評価: 実機Unitree G1 8タスク × 10回(ボール蹴り9/10; 障害物回避・物体の方へ向く・物体把持・手を振る・ジャンプ・ダンス・パンチ); HumanML3D FID 0.467±.018, DIV 4.585±.086; Humanoid-Sベンチマーク(手動アノテーション動画4,646本)を新設
ロボット: Unitree G1全身

強化学習: 一部 (RL下位制御器との結合) · LLMのモーショントークン生成は教師あり学習、実行はIsaacGym PPOの目標条件付きRLトラッカー
ベース制御: ヒューマノイド歩行 (指令・潜在 → RL歩行制御器) · VLAが脚を含む部位別モーショントークンを生成 → 目標条件付きRL全身制御器がPD関節目標に変換 (障害物回避移動・ジャンプ・キック)

主な特徴: 言語と一人称視覚から全身モーションを生成し、RLトラッカーが実行する階層構造である。<Track>・<Time>・<Occlusion>・<State>の自己教師あり拡張により、手動ラベルなしで既存研究比25倍規模のデータを作る。
備考: Total行はノートから抜けていたが検証でHTML・PDFの両方に実在を確認(NEW)。原文のTotal時間7790.2 hは3行の時間値の合計と合わない(クリップ・フレームの合計は一致); 原文どおりに転記。パラメータ(B)は総パラメータ非公開のためnull(ベースLLM Llama3-70B)。
検証: 確認