HybridVLA

Peking University, BAAI, CUHK · 2025-03

VLAFlow·Diffusion VLALLM 7B / 2.7Bの2サイズハイブリッド

一つのLLMが自己回帰予測と拡散アクション生成を共に行い、ARトークンの平均信頼度が0.96を超えると二つのアクションを平均する協調アンサンブルを用いる。

論文

バックボーンLLM: Llama 2 7B / Phi-2 2.7B
ビジョンエンコーダ: SigLIP + DINOv2 (7B) / CLIP (2.7B)
アクションヘッド: 自己回帰トークン + 拡散トークン (4ステップ) の結合 (ハイブリッド)
チャンク: なし (1ステップ)
制御周期: 非公開
構造の原文要約: 単一LLM(7B: LLaMA-2 + DINOv2・SigLIP, prism-dinosiglip-224px / 2.7B: Phi-2 + CLIP)内で自己回帰トークン + diffusionトークン(<BOD>/<EOD>)、denoising 4ステップ(20から削減); 単一ステップのアクション

事前学習アクセラレータ: A800(枚数非公開)
事前学習期間: 非公開
事前学習ステップ・バッチ: 5エポック(35データセット)、バッチ非公開
GPU・TPU時間: 10,000 (明示 · A800時間 (10K以上))
ファインチューニング: RLBench: A800×8、300エポック、mixed precision(時間非公開); READMEの例はA100×8 1ノード、GPUあたりバッチ32
データ種類: 実ロボットのテレオペレーション + シミュレーション(RLBenchファインチューニング)
データ規模: 事前学習 760K軌跡・33Mフレーム、35データセット; RLBench タスクあたり100軌跡; 実機タスクあたり100デモ
主要データセット: Open X-Embodiment, DROID, RoboMIND
タスク・評価: RLBench 10タスク平均74%(7B); Franka FR3実機5タスク平均0.80; AgileX双腕5タスク平均0.66
ロボット: Franka Research 3(単腕)、AgileX(双腕); シミュレーション RLBench

推論デバイス・速度: NVIDIA 4090D: HybridVLA(7B) 6.1 Hz, HybridVLA-dif(7B) 9.4 Hz, HybridVLA(2.7B) 12.3 Hz
推論メモリ: 非公開
重み bf16(計算): 14 GB
実行場所: ローカルPC

主な特徴: 一つのLLMが自己回帰予測と拡散アクション生成を共に行い、ARトークンの平均信頼度が0.96を超えると二つのアクションを平均する協調アンサンブルを用いる。35データセット760K軌跡で、A800 10K GPU-時間超の事前学習を行った。
備考: パラメータ(B)は論文のバリアント名HybridVLA(7B)のLLMサイズ基準の最大値(ビジョンエンコーダを含む総計は非公開)。チェックポイントはBaidu Netdiskで公開。
検証: 確認