DexVLA

Midea Group, East China Normal University · 2025-02

VLAFlow·Diffusion VLAVLM 2B + 拡散エキスパート1Bdiffusion

1B拡散エキスパートをクロスエンボディメントデータで先に事前学習する3段階カリキュラムを用い、約5秒ごとにsub-stepの推論注釈を付ける。

論文

分類: Flow·Diffusion VLA
タイプ: VLA
発表: 2025-02
機関: Midea Group, East China Normal University
重み公開: 一部
パラメータ: VLM 2B + 拡散エキスパート1B(README: Qwen2-VL ~2B、ScaleDP-H ~1B、ScaleDP-L ~400M); 総計は記載なし

バックボーンLLM: Qwen2-1.5B · Qwen2-VL-2B構成
ビジョンエンコーダ: Qwen2-VL ViT
アクションヘッド: ScaleDP拡散エキスパート1B (32層) (diffusion)
チャンク: 非公開
制御周期: 非公開
構造の原文要約: Qwen2-VL-2B + 1B ScaleDP拡散エキスパート(32層、hidden 1280、16 heads) + embodimentごとのMLPヘッド; チャンク長は非公開

事前学習アクセラレータ: H100×8(Stage 1)
事前学習期間: 非公開
事前学習ステップ・バッチ: Stage 1 5エポック、lr 1e-4定数、AdamW(β 0.9/0.95); バッチは非公開
GPU・TPU時間: 非公開
ファインチューニング: Stage 2・3各5エポック(lr 2e-5)、GPU・時間は非公開; README: A6000 1枚・バッチ2で基本38 GB・1.1 s/iter、小型ScaleDP 33 GB、LoRA VLM 24 GB、DeepSpeed offload 20~29 GB・6.56 s/iter
データ種類: 実ロボットのテレオペレーション + sub-stepの言語アノテーション
データ規模: 100 h、91課題(AgileX 42.7%、単一Franka 34.7%など); 新エンボディメントは課題あたり100デモ以下
主要データセット: 独自収集データ
タスク・評価: シャツたたみ 0.92(双腕AgileX)、飲み物注ぎ 0.90(Franka+デクステラスハンド)、梱包 0.90(双腕UR5e)、乾燥機の取り出し 0.8、洗濯物たたみ、Table bussing、bin picking、分類
ロボット: Franka+グリッパ、Franka+デクステラスハンド、双腕UR5e、双腕AgileX

主な特徴: 1B拡散エキスパートをクロスエンボディメントデータで先に事前学習する3段階カリキュラムを用い、約5秒ごとにsub-stepの推論注釈を付ける。新エンボディメントをデモ100件以下で習得した。
備考: Stage 1 ScaleDP-H・ScaleDP-Lの重みのみ公開。拡散エキスパートのみ学習時の速度向上が「5倍」と「2.78倍」で原文内不一致。パラメータ(B)は総計の記載なしのためnull。
検証: 確認