FLOWER

KIT Intuitive Robots Lab (共著者1名はMicrosoft Research) · 2025-09

VLAFlow·Diffusion VLA947Mflow matching

VLM中間層の融合とアクション空間別のGlobal-AdaLNでパラメータを20%以上削減し、約200 H100 GPU時間で事前学習した。

論文

分類: Flow·Diffusion VLA
タイプ: VLA
発表: 2025-09
機関: KIT Intuitive Robots Lab (共著者1名はMicrosoft Research)
重み公開: あり
パラメータ: 947M(本文)/950M(アブストラクト); ViT 360M(論文)/350M(README)、VLM 205M、Flow Transformer 339M、Global-AdaLN 28.3M

バックボーンLLM: なし (Florence-2 VLM 205M、デコーダ除去)
ビジョンエンコーダ: Florence-2-L ViT (360M)
アクションヘッド: Flow Transformer 339M (4–8ステップ) (flow matching)
チャンク: 20ステップ
制御周期: 3–50 Hz
構造の原文要約: デコーダを除去したFlorence-2-L(ViT 360M + VLM 205M、中間層融合) + 18層・1024次元 Flow Transformer(339M)、Action-Space Global-AdaLN-Zero; rectified flow、チャンク 20、denoising 4(単腕)/8(高周波双腕)、3~50 Hz

事前学習アクセラレータ: H100×4(1ノード)
事前学習期間: 48 h
事前学習ステップ・バッチ: 360,000ステップ(データ構成別に300k~400k)、バッチ256×grad accum 4 = 1024、lr FlowT 1e-4・VLM 1e-5
GPU・TPU時間: 200 (明示 · H100時間 (約200; 4枚 × 48 h))
ファインチューニング: CALVIN GPU×4・GPUあたりバッチ8・40kステップ; LIBEROはsuite別に30k(LIBERO-90 50k); 実機キッチン50,000ステップ; 時間は非公開; リポジトリの学習は24GB+ VRAM
データ種類: 実ロボットのテレオペレーション
データ規模: 公開データセット8個で約250k軌跡(delta-EEF 74%、単腕関節26%); 実機417軌跡(人間デモ45分)
主要データセット: OXE soup: Bridge 28.62%、Fractal 24.68%、DROID 23.50%など
タスク・評価: CALVIN ABCD→D 4.67、ABC→D 4.53(アブストラクト)/4.54(README)、D→D 4.36; LIBERO-10 94.5%(README)/94.9%(論文)、LIBERO-90 93.4%、Spatial 97.2%、Object 99.3%、Goal 96.9%; SIMPLER Bridge 40.0%、Google Robot 31.9%; Aloha sim insertion 0.82; 実機キッチン平均61%
ロボット: 単腕(Franka Panda 実機キッチン)、双腕(Aloha sim)、4種のエンボディメント

主な特徴: VLM中間層の融合とアクション空間別のGlobal-AdaLNでパラメータを20%以上削減し、約200 H100 GPU時間で事前学習した。RTX 4090で311 Hzで動作し、π0のメモリの27.6%しか使わない。
備考: パラメータ(B)は本文の947M。947M/950M、ViT 360M/350M、LIBERO-Long 94.9/94.5、CALVIN ABC 4.53/4.54で出典間に差。arXiv v1の日付行は未確認(HF Papers 2025-09-05)。
検証: 確認