VLA ギャラリー / モデル一覧 / Flow·Diffusion VLA

DexGraspVLA

Peking University Institute for AI, PKU-PsiBot Joint Lab, HKUST(GZ) · 2025-02

VLAFlow·Diffusion VLAcontroller学習可能163Mdiffusion

既製のVLM plannerが目標物体を指定し、セグメンテーションマスクとDINOv2特徴を受け取るDiT controllerがデクスタラスハンドで把持を行う。

論文

DexGraspVLA: A Vision-Language-Action Framework Towards General Dexterous GraspingarXiv 2502.20900

概要

分類

Flow·Diffusion VLA

タイプ

VLA

発表

2025-02

機関

Peking University Institute for AI, PKU-PsiBot Joint Lab, HKUST(GZ)

重み公開

あり

パラメータ

controller学習可能163M; planner Qwen2.5-VL-72B(既製モデル)

構造

バックボーンLLM

Qwen2.5-72B · Qwen2.5-VL-72B構成 (planner)

ビジョンエンコーダ

SAM · Cutie · DINOv2 × 2

アクションヘッド

DiT拡散controller (16ステップ) (diffusion)

チャンク

64ステップ

制御周期

20 Hz

構造の原文要約

階層型: VLM planner(Qwen-VL-Chat、付録・READMEはQwen2.5-VL-72B-Instruct) + DiT拡散controller(SAM・Cutieセグメンテーション、frozen DINOv2 2個を含むビジョンエンコーダ3個); チャンクH=64、推論16ステップ、20 Hz

学習

事前学習アクセラレータ

該当なし(大規模ロボット事前学習なし)

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

controller学習: A800×8サーバー、1日未満、84エポック、GPUあたりバッチ48

データ種類

実ロボットのデモ(kinesthetic teaching)

データ規模

成功エピソード2,094件、家庭用物体36個

主要データセット

独自収集

タスク・評価

未知の物体360個・照明3種・背景6種の組み合わせ1,287件で90.8%成功

ロボット

7-DoF RealMan RM75-6Fアーム + 6-DoF PsiBotハンド

推論

推論デバイス・速度

物体あたりの把持は平均約6 s; planner(72B)はA800×8サーバーでGPU 4枚・vLLM・speculative decoding(Qwen2.5-VL-7B)でサービング

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

リモートサーバー (planner)

強化学習・ベース

強化学習

不使用 · 模倣学習(行動クローニング)のみ使用

ベース制御

固定 · ベース制御なし (RealMan腕 + ハンド)

備考

主な特徴

既製のVLM plannerが目標物体を指定し、セグメンテーションマスクとDINOv2特徴を受け取るDiT controllerがデクスタラスハンドで把持を行う。未知の組み合わせ1,287件で90.8%成功した。

備考

パラメータ(B)はシステム総計の記載がないためnull。単一のend-to-end VLAではなく階層型で、controller学習はタスク学習に分類。plannerのサービング費用がcontrollerの学習費用より大きい。重みはcontrollerチェックポイント(plannerは既製VLM)。機関はノートのPsi-Robotなどから論文1ページ目に基づき修正。

検証

修正反映