VLA ギャラリー / モデル一覧 / ヒューマノイドVLA

WholeBodyVLA

Fudan University·OpenDriveLab & MMLab(HKU)·AgiBot·SII · 2025-12

VLAヒューマノイドVLAPrismatic-7B構成潜在アクション

行動ラベルのない低コストの一人称動画から学ぶ統合潜在学習で、広い空間でのロコ-マニピュレーションを行う。

論文

WholeBodyVLA: Towards Unified Latent VLA for Whole-Body Loco-Manipulation ControlarXiv 2512.11047

概要

分類

ヒューマノイドVLA

タイプ

VLA

発表

2025-12

機関

Fudan University·OpenDriveLab & MMLab(HKU)·AgiBot·SII

重み公開

未確認

パラメータ

Prismatic-7B構成 (総計非公開)

構造

バックボーンLLM

Llama 2 7B · Prismatic-7B構成

ビジョンエンコーダ

DINOv2 LAM + Prismaticビジョン

アクションヘッド

潜在行動デコーダ (操作・歩行) (潜在アクション)

チャンク

非公開

制御周期

非公開

構造の原文要約

Prismatic-7B VLA + DINOv2ベースのVQ-VAE潜在行動モデル(操作・歩行のLAMを分離); 潜在行動を約10 Hzで双腕関節行動と歩行指令にデコーディング、歩行指令はLMO RL方策が50 Hzで実行

学習

事前学習アクセラレータ

H100 × 8 (LAM・VLA); LMO RLはH100 × 1

事前学習期間

非公開

事前学習ステップ・バッチ

VLA 20,000ステップ · バッチ1,024; LAM 30,000ステップ · バッチ256

GPU・TPU時間

非公開

ファインチューニング

10,000ステップ · バッチ64 (GPUはH100 × 8の文脈範囲)、時間は非公開

データ種類

人の動画 / 実ロボットのテレオペレーション

データ規模

一人称歩行動画 約300時間; AgiBot World操作データ(規模非公開); テレオペレーションはタスクあたり50回

主要データセット

独自収集の一人称歩行動画、AgiBot World

タスク・評価

Bag Packing・Box Loading・Cart Pushing 平均78.0%; 既存ベースライン比+21.3%

ロボット

AgiBot X2(7-DoFアーム + Omnipickerグリッパ、6-DoF脚、1-DoF腰)

推論

推論デバイス・速度

VLAはRTX 4090ワークステーション(約10 Hz)、LMO RLはNanoPiオンボード(50 Hz)

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

ローカルPC (VLA) + オンボード (LMO)

強化学習・ベース

強化学習

一部 (RL下位制御器との結合) · VLAは潜在行動の教師あり学習、歩行指令はLMO RL方策が実行(H100 1枚で学習)

ベース制御

ヒューマノイド歩行 (指令・潜在 → RL歩行制御器) · VLAが上半身関節角 + 歩行指令(前後・左右・回転3軸の離散指示 + 姿勢高さ)を出力 → LMO RL方策が下半身トルク(50 Hz)

備考

主な特徴

行動ラベルのない低コストの一人称動画から学ぶ統合潜在学習で、広い空間でのロコ-マニピュレーションを行う。既存のベースラインより21.3%高い。

備考

ファインチューニング設定と配備ハードウェアはノートの「非公開」を検証で修正、LAM設定はNEW。データ時間300は歩行動画のみ。パラメータ(B)は総パラメータ非公開のためnull。LMOのシミュレータ・env・時間は非公開。

検証

修正反映