VLA 图库 / 模型列表 / Flow·Diffusion VLA
F1-VLA
Shanghai AI Laboratory, Harbin Institute of Technology (Shenzhen) · 2025-09
VLAFlow·Diffusion VLA4.2Bflow matching
在动作之前以next-scale方式生成未来视觉场景(foresight)并用于规划的VLA。
论文
F1: A Vision-Language-Action Model Bridging Understanding and Generation to ActionsarXiv 2509.06951
概述
- 分类
- Flow·Diffusion VLA
- 类型
- VLA
- 发布
- 2025-09
- 机构
- Shanghai AI Laboratory, Harbin Institute of Technology (Shenzhen)
- 权重公开
- 是
- 参数
- 4.2B
架构
- 主干LLM
- Gemma · PaliGemma 初始化
- 视觉编码器
- SigLIP (PaliGemma)
- 动作头
- foresight生成 + flow matching专家 (flow matching)
- 动作块
- 未公开
- 控制频率
- 未公开
- 架构原文摘要
- Mixture-of-Transformer: 理解专家(PaliGemma初始化) + foresight生成专家(VAR residual VQ-VAE next-scale,推理4 scale) + flow matching动作专家(继承π0)
训练
- 预训练加速器
- 未公开（App. B中无GPU型号·数量·时长）
- 预训练时长
- 未公开
- 预训练步数·批量
- Stage I 512K步·批量1280·lr 3.0e-4(cosine)；Stage II 100K步·批量2880·lr 5.0e-5(constant)
- GPU·TPU-小时
- 未公开
- 微调
- Stage III批量128·lr 5.0e-5(cosine)，硬件·时间未公开；后训练内部约1.8K条轨迹
- 数据类型
- 真实机器人遥操作 + 仿真(LIBERO)
- 数据规模
- 330.9K条轨迹·73.8M帧，136个任务，5种本体(AgiBot-World 187K/66.4M，Bridge-v2 53.2K/1.9M，Fractal 87.2K/3.8M，LIBERO 1.7K/0.3M)
- 主要数据集
- AgiBot World, OXE Bridge v2, OXE Fractal, LIBERO
- 任务·评估
- LIBERO 98.2/97.8/95.4/91.3,平均95.7;SimplerEnv Bridge 72.9;Genie真机9项任务平均82.2%(grasp 92.6%)
- 机器人
- Genie G1, Franka, ARX LIFT II, WidowX, Google Robot(单臂·双臂)
推理
- 推理设备·速度
- 未公开（将foresight限制为4个scale，面向实时控制）
- 推理显存
- 未公开
- 权重 bf16（计算）
- 8.4 GB
- 运行位置
- 未公开
强化学习与底盘
- 强化学习
- 未使用 · 仅使用模仿学习（行为克隆）
- 底盘控制
- 固定 · 未提及底盘移动（Genie-1·ARX LIFT II操作；动态任务为传送带）
备注
- 核心特点
- 在动作之前以next-scale方式生成未来视觉场景(foresight)并用于规划的VLA。在Genie实机9项任务上平均成功率达82.2%。
- 备注
- 由π0动作专家·PaliGemma初始化(README要求lerobot/pi0_base)。App. B超参数在核验中新确认(笔记中为未核实)。
- 核验
- 已反映修正