VLA ギャラリー / モデル一覧 / Flow·Diffusion VLA
F1-VLA
Shanghai AI Laboratory, Harbin Institute of Technology (Shenzhen) · 2025-09
VLAFlow·Diffusion VLA4.2Bflow matching
アクションの前に未来の視覚シーン(foresight)をnext-scale方式で生成して計画に使うVLAである。
論文
F1: A Vision-Language-Action Model Bridging Understanding and Generation to ActionsarXiv 2509.06951
概要
- 分類
- Flow·Diffusion VLA
- タイプ
- VLA
- 発表
- 2025-09
- 機関
- Shanghai AI Laboratory, Harbin Institute of Technology (Shenzhen)
- 重み公開
- あり
- パラメータ
- 4.2B
構造
- バックボーンLLM
- Gemma · PaliGemma で初期化
- ビジョンエンコーダ
- SigLIP (PaliGemma)
- アクションヘッド
- foresight生成 + flow matchingエキスパート (flow matching)
- チャンク
- 非公開
- 制御周期
- 非公開
- 構造の原文要約
- Mixture-of-Transformer: 理解エキスパート(PaliGemmaで初期化) + foresight生成エキスパート(VAR residual VQ-VAE next-scale、推論4 scale) + flow matchingアクションエキスパート(π0を継承)
学習
- 事前学習アクセラレータ
- 非公開(App. BにGPUの種類・枚数・時間なし)
- 事前学習期間
- 非公開
- 事前学習ステップ・バッチ
- Stage I 512Kステップ・バッチ1280・lr 3.0e-4(cosine); Stage II 100Kステップ・バッチ2880・lr 5.0e-5(constant)
- GPU・TPU時間
- 非公開
- ファインチューニング
- Stage IIIバッチ128・lr 5.0e-5(cosine)、ハードウェア・時間は非公開; 事後学習は社内の約1.8K軌跡
- データ種類
- 実ロボットのテレオペレーション + シミュレーション(LIBERO)
- データ規模
- 330.9K軌跡・73.8Mフレーム、136課題、5エンボディメント(AgiBot-World 187K/66.4M、Bridge-v2 53.2K/1.9M、Fractal 87.2K/3.8M、LIBERO 1.7K/0.3M)
- 主要データセット
- AgiBot World, OXE Bridge v2, OXE Fractal, LIBERO
- タスク・評価
- LIBERO 98.2/97.8/95.4/91.3、平均95.7; SimplerEnv Bridge 72.9; Genie実機9タスク平均82.2%(grasp 92.6%)
- ロボット
- Genie G1, Franka, ARX LIFT II, WidowX, Google Robot(単腕・双腕)
推論
- 推論デバイス・速度
- 非公開(foresightを4 scaleに制限しリアルタイム制御を志向)
- 推論メモリ
- 非公開
- 重み bf16(計算)
- 8.4 GB
- 実行場所
- 非公開
強化学習・ベース
- 強化学習
- 不使用 · 模倣学習(行動クローニング)のみ使用
- ベース制御
- 固定 · ベース移動の言及なし (Genie-1・ARX LIFT II操作; 動的タスクはベルトコンベア)
備考
- 主な特徴
- アクションの前に未来の視覚シーン(foresight)をnext-scale方式で生成して計画に使うVLAである。Genie実機9タスクで平均成功率82.2%を出した。
- 備考
- π0アクションエキスパート・PaliGemmaから初期化(READMEがlerobot/pi0_baseを要求)。App. Bのハイパーパラメータは検証で新たに確認(ノートでは未確認)。
- 検証
- 修正反映