VLA ギャラリー / モデル一覧 / Flow·Diffusion VLA
DiVLA (Diffusion-VLA)
Midea Group, East China Normal University, Shanghai University · 2024-12
VLAFlow·Diffusion VLADiVLA-2B / 7B / 72B変形diffusion
VLMが生成した推論文をFiLMで拡散方策ヘッドに注入し、GPT-4oで学習データを推論付き形式に変換した。
論文
Diffusion-VLA: Scaling Robot Foundation Models via Unified Diffusion and AutoregressionarXiv 2412.03293
概要
- 分類
- Flow·Diffusion VLA
- タイプ
- VLA
- 発表
- 2024-12
- 機関
- Midea Group, East China Normal University, Shanghai University
- 重み公開
- 未確認
- パラメータ
- DiVLA-2B / 7B / 72B変形(本文のQwen2-VL説明は「2B, 8B, 72B」); ヘッドサイズは非公開
構造
- バックボーンLLM
- Qwen2 1.5B / 7B / 72B · Qwen2-VL-2B/7B/72B構成
- ビジョンエンコーダ
- Qwen2-VL ViT
- アクションヘッド
- Diffusion Policyヘッド + FiLMによる推論注入 (diffusion)
- チャンク
- 非公開
- 制御周期
- 非公開
- 構造の原文要約
- Qwen2-VLバックボーン + ランダム初期化Diffusion Policyヘッド(Chi et al. 2023の設計) + FiLM推論注入モジュール; チャンク長は非公開
学習
- 事前学習アクセラレータ
- 非公開
- 事前学習期間
- 非公開
- 事前学習ステップ・バッチ
- 非公開
- GPU・TPU時間
- 非公開
- ファインチューニング
- GPU・時間は非公開; lr 2e-5固定、20エポック(DiVLA・OpenVLAのどちらに適用するかは原文でも曖昧)
- データ種類
- 実ロボットのテレオペレーション + GPT-4o生成の推論アノテーション
- データ規模
- 事前学習 DROID(2B・7B)、OXE+DROID(72B)、規模の記載なし; ファインチューニング 分類500、マルチタスク580、bussing 400軌跡
- 主要データセット
- DROID, Open X-Embodiment
- タスク・評価
- Franka工場の仕分け 全体平均66.2%; 未知物体102個のゼロショットbin picking 63.7%; AgileX双腕 table bussing seen 72.9%
- ロボット
- Franka(単腕)、AgileX(双腕)
推論
- 推論デバイス・速度
- A6000 1枚: DiVLA-2B 82 Hz、7B 42 Hz(vLLMなしで74/30 Hz); OpenVLAより6倍高速
- 推論メモリ
- 非公開
- 重み bf16(計算)
- 144 GB
- 実行場所
- 非公開
強化学習・ベース
- 強化学習
- 不使用 · 模倣学習(行動クローニング)のみ使用
- ベース制御
- 固定 · ベース制御なし (Franka・AgileX双腕操作)
備考
- 主な特徴
- VLMが生成した推論文をFiLMで拡散方策ヘッドに注入し、GPT-4oで学習データを推論付き形式に変換した。未知物体102個のゼロショットbin pickingで63.7%を達成した。
- 備考
- パラメータ(B)は最大バリアントDiVLA-72Bの名称基準(ヘッドを含むか不明)。本文の'2B, 8B, 72B'はQwen2-VLのサイズ説明でバリアント名と異なる(原文の不一致)。DexVLAリポジトリにDiVLA学習スクリプト(2025-03-11)を追加。
- 検証
- 確認