VLA ギャラリー / モデル一覧 / ヒューマノイドVLA

Being-H0

Peking University·Renmin University of China·BeingBeyond · 2025-07

VLAヒューマノイドVLA1B / 8B / 14B離散トークン

人の手動画によるVLA事前学習、物理空間の整合、ロボットタスクの事後学習をつなぐ'physical instruction tuning'を用いる。

論文

Being-H0: Vision-Language-Action Pretraining from Large-Scale Human VideosarXiv 2507.15597

概要

分類

ヒューマノイドVLA

タイプ

VLA

発表

2025-07

機関

Peking University·Renmin University of China·BeingBeyond

重み公開

あり

パラメータ

1B / 8B / 14B

構造

バックボーンLLM

InternVL3構造 (内部LLMは記載なし)

ビジョンエンコーダ

InternViT-300M

アクションヘッド

MANO手モーショントークン (GRQ) (離散トークン)

チャンク

非公開

制御周期

非公開

構造の原文要約

InternVL3構造(ビジョンエンコーダInternViT-300M) + パーツ単位のMANO手モーショントークン(手首・指を別々にgrouped residual quantization、コードブックKw=Kf=4096)、モーション15 FPS

学習

事前学習アクセラレータ

A800-80G × 32 (ViTアダプタ・LLMバックボーンの共同学習)

事前学習期間

非公開

事前学習ステップ・バッチ

ステップ非公開 · バッチ128 (AdamW, lr 1×10⁻⁵)

GPU・TPU時間

非公開

ファインチューニング

GPU・時間は非公開; タスクあたりテレオペレーション50~100軌跡(Gello)で事後学習

データ種類

モーションキャプチャ / 人の動画 / 実ロボットテレオペレーション

データ規模

UniHand 440K+軌跡・130M+フレーム・1,100時間+の動画; 事前学習に2.5Mサンプル(UniHand-2.5M)を使用

主要データセット

UniHand(11ソース: ARCTIC・FPHA・H2O・HOI4Dなどのモーションキャプチャ、EgoDex・HoloAssistのVR録画、Taste-Robの疑似ラベルRGB動画)

タスク・評価

実ロボット Pour-Cup 100%、Close-Toolbox 85%、Pick-Place-Toy 75%(seen)/65%(unseen)/60%(clutter)、Unfold-Clothes 75%、Close-Lid 60%

ロボット

Franka Research 3(7-DoF) + Inspireハンド(6-DoF) + RealSense L515; ヒューマノイドではない

推論

推論デバイス・速度

非公開

推論メモリ

非公開

重み bf16(計算)

28 GB

実行場所

非公開

強化学習・ベース

強化学習

不使用 · 人の手モーションの事前学習 + 模倣学習

ベース制御

固定 · ベース制御なし (Franka FR3 + Inspireハンド、EE姿勢・手関節のみ)

備考

主な特徴

人の手動画によるVLA事前学習、物理空間の整合、ロボットタスクの事後学習をつなぐ'physical instruction tuning'を用いる。実ロボット評価はヒューマノイドではなくFrankaアーム + Inspireハンドのため、対象範囲の境界にある。

備考

パラメータ(B)は最大バリアント14B。機関は検証でPeking Univ.・Renmin Univ.を追加して修正。サンプル数は論文内部で衝突(§5.1 165M+ vs 貢献リスト150M+)。データ時間1100は「1,100時間超」の下限値。重み1B/8B/14B・8B-Alignを2025-08-02公開、コードMIT(READMEバッジ)。

検証

修正反映