VLA ギャラリー / モデル一覧 / ヒューマノイドVLA

LeVERB

LeVERB (Latent Vision-Language-Encoded Robot Behavior)

UC Berkeley·NTNU·Simon Fraser University·Carnegie Mellon University · 2025-06

VLAヒューマノイドVLASystem 2の学習パラメータ102.56M潜在アクション

潜在行動語彙(latent verb)でビジョン-言語層と全身制御層をつなぐ階層型VLAで、シミュレーションのみで学習しG1にzero-shot転移する。

論文

LeVERB: Humanoid Whole-Body Control with Latent Vision-Language InstructionarXiv 2506.13751

概要

分類

ヒューマノイドVLA

タイプ

VLA

発表

2025-06

機関

UC Berkeley·NTNU·Simon Fraser University·Carnegie Mellon University

重み公開

未確認

パラメータ

System 2の学習パラメータ102.56M; System 1は非公開(2層・128次元)

構造

バックボーンLLM

なし (ViT-B視覚・テキストエンコーダ)

ビジョンエンコーダ

ViT-B視覚・テキストエンコーダ (凍結)

アクションヘッド

潜在動詞 → Transformer学生方策 (潜在アクション)

チャンク

非公開

制御周期

50 Hz

構造の原文要約

System 2(LeVERB-VL): 凍結ViT-Base視覚・テキストエンコーダ(各768次元) → 256次元の潜在「動詞」、10 Hz / System 1(LeVERB-A): 2層・4ヘッド・hidden 128のTransformer生徒、関節位置行動50 Hz

学習

事前学習アクセラレータ

Ada 6000 × 2 (System 2)

事前学習期間

非公開

事前学習ステップ・バッチ

ステップ非公開 · グローバルバッチ512 (System 2)

GPU・TPU時間

非公開

ファインチューニング

該当なし

データ種類

シミュレーション・合成 / モーションキャプチャ

データ規模

154軌跡をそれぞれ100回ランダム化したフォトリアルなロールアウト17.1時間; 言語専用2.7時間(500軌跡)

主要データセット

LeVERB-Bench(リターゲティングしたモーションキャプチャのIsaacSimレイトレーシングレンダリング)

タスク・評価

LeVERB-Bench(10カテゴリ、150+タスク); 単純な視覚ナビゲーション80%、全体58.5%; 単純な階層型全身VLA比7.8倍

ロボット

Unitree G1全身(視覚ナビゲーション・ロコマニピュレーション)

推論

推論デバイス・速度

System 2 10 Hz、System 1 50 Hz; ハードウェアは非公開

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

非公開

強化学習・ベース

強化学習

一部 (RL下位制御器との結合) · System 2は教師あり学習、System 1はRL教師方策をDAggerで蒸留

ベース制御

ヒューマノイド歩行 (指令・潜在 → RL歩行制御器) · LeVERB-VLの潜在動詞(10 Hz) → LeVERB-Aが全身関節位置を直接出力して歩行・旋回・着席 (視覚ナビゲーション)

備考

主な特徴

潜在行動語彙(latent verb)でビジョン-言語層と全身制御層をつなぐ階層型VLAで、シミュレーションのみで学習しG1にzero-shot転移する。System 1はビジョン-言語に依存しないRL教師をDAggerで蒸留する。

備考

データ時間はフォトリアルなロールアウト17.1 hのみ(言語専用 2.7 hは別)。パラメータ(B)は総パラメータ非公開のためnull。System 1教師RLのシミュレータ・env・GPUは非公開(検証 NOT FOUND); 別行のLeVERB-Aを参照。arXiv v3 2025-09-25。

検証

確認