GraspVLA

Galbot, Peking University, HKU, BAAI · 2025-05

VLAFlow·Diffusion VLALLM 1.8Bflow matching

実ロボットデータなしで合成SynGrasp-1B(10M軌跡)とWeb grounding(GRIT)を共同学習し、ゼロショット把持を行う。

論文

バックボーンLLM: InternLM2 1.8B
ビジョンエンコーダ: DINOv2 + SigLIP (固定)
アクションヘッド: bbox → 把持姿勢 → flowチャンク (flow matching)
チャンク: 4ステップ
制御周期: 10 Hz (データ)
構造の原文要約: InternLM2 1.8B(学習) + frozen DINOv2・SigLIP; Progressive Action Generation: 2D bbox → 把持姿勢 → flow matchingアクションチャンク(4ステップ); アクションは10 Hzで保存

事前学習アクセラレータ: モデル学習は非公開(データ生成はRTX 4090×160)
事前学習期間: モデル学習は非公開(データ生成10日)
事前学習ステップ・バッチ: バッチ 384、lr 1.6e-4、120k ステップ以降は成功率が安定; READMEの例は200K ステップ・GPU 8/ノード(論文の値ではない)
GPU・TPU時間: 非公開
ファインチューニング: 計算量非公開; 事後学習タスク1~2 100デモ、タスク3 ボトルあたり10; 新しいアーム・カメラへの適応に合成軌跡5k(RTX 4090 1枚で1日)
データ種類: シミュレーション・合成 + Web視覚言語
データ規模: SynGrasp-1B 10M軌跡(軌跡あたり約100フレーム、約1Bフレーム)、物体メッシュ10,680個・240カテゴリ; GRIT(混合比率は非公開)
主要データセット: SynGrasp-1B, GRIT
タスク・評価: 実機ゼロショット把持: 合成カテゴリ93.3%、Webカテゴリ93.3%; LIBERO Long 82.0・Goal 91.2・Object 94.1
ロボット: Franka Panda(単腕)、UR5eに適応

推論デバイス・速度: L40s + Torch Compileで約200 ms(ビジョン9・bbox 72・把持姿勢50・flow 64 ms)、約9 GB; 5 Hz(AnyGrasp 37 Hz)
推論メモリ: 約9 GB (L40s)
重み bf16(計算): 非公開
実行場所: 非公開

主な特徴: 実ロボットデータなしで合成SynGrasp-1B(10M軌跡)とWeb grounding(GRIT)を共同学習し、ゼロショット把持を行う。データ生成にRTX 4090 160枚で10日、約$5,000を要した。
備考: データ生成の計算量とモデル学習の計算量を混同しないこと。ゼロショット把持93.3%はTable 1の抽出値で原文照合を推奨。重みは cc-by-nc-4.0(2025-07-25 公開)。
検証: 確認