VLA 图库 / 模型列表 / Flow·Diffusion VLA
SmolVLA
Hugging Face, Sorbonne University, valeo.ai, ENS Paris-Saclay · 2025-06
VLAFlow·Diffusion VLA0.45Bflow matching
用481个社区SO100数据集预训练的0.45B小型VLA，目标是单GPU训练与消费级GPU·CPU部署。
论文
SmolVLA: A Vision-Language-Action Model for Affordable and Efficient RoboticsarXiv 2506.01844
概述
- 分类
- Flow·Diffusion VLA
- 类型
- VLA
- 发布
- 2025-06
- 机构
- Hugging Face, Sorbonne University, valeo.ai, ENS Paris-Saclay
- 权重公开
- 是
- 参数
- 0.45B(动作专家约100M)；变体0.24B·0.45B·2.25B(Table 2)；HF卡片标注0.5B
架构
- 主干LLM
- SmolLM2 · SmolVLM2-500M前16层
- 视觉编码器
- SigLIP (SmolVLM2)
- 动作头
- flow matching专家约100M (10步) (flow matching)
- 动作块
- 50步
- 控制频率
- 未公开
- 架构原文摘要
- SmolVLM-2(博客：SmolVLM2-500M)前16层(N=L/2) + 约100M flow matching动作专家(cross·self-attention交替)；动作块50，flow 10步，每帧视觉token 64；异步推理
训练
- 预训练加速器
- GPU×4(型号未公开)
- 预训练时长
- 未公开
- 预训练步数·批量
- 200,000步，global批量256，bf16，cosine lr 1e-4→2.5e-6
- GPU·TPU-小时
- 未公开
- 微调
- 论文：仿真 100,000 步·批量 64，实机 200,000 步。LeRobot文档：A100 1张 20k 步约 4 h（批量 64），建议录制约 50条回合。硬件指南：A100 40GB 1张·批量 16·50条回合 5 epoch 约 1~2 h，H100 80GB×4·5000 步·批量 32 27m 49s，峰值VRAM约 10~16 GB（批量 8）
- 数据类型
- 真实机器人遥操作(社区采集)
- 数据规模
- 481个数据集(论文)/487个(博客)，22.9K回合·10.6M帧(博客：不足30k回合，约1千万帧)
- 主要数据集
- LeRobot社区数据集(SO100, Hugging Face Hub)
- 任务·评估
- LIBERO平均87.3%,Meta-World 57.3%(0.45B);SO100 Pick-Place 75%·Stacking 90%·Sorting 70%(平均78.3%);SO101 in-distribution 90%,OOD 50%
- 机器人
- SO100，SO101(低成本单臂)；仿真LIBERO·Meta-World
推理
- 推理设备·速度
- 目标为消费级GPU·CPU部署；异步推理9.7 s vs 同步13.75 s(缩短约30%)；博客称吞吐量2倍
- 推理显存
- 未公开
- 权重 bf16（计算）
- 4.5 GB
- 运行位置
- 本地PC（面向消费级GPU·CPU）
强化学习与底盘
- 强化学习
- 未使用 · 仅使用模仿学习（行为克隆）
- 底盘控制
- 固定 · 无底盘控制（SO100·SO101低成本机械臂）
备注
- 核心特点
- 用481个社区SO100数据集预训练的0.45B小型VLA，目标是单GPU训练与消费级GPU·CPU部署。通过异步推理将任务完成时间缩短约30%。
- 备注
- 参数(B)为Table 2最大变体2.25B(主模型·公开权重0.45B)。预训练未使用仿真数据，任务描述由Qwen2.5-VL-3B-Instruct自动生成。30k GPU-小时为整个项目的值。
- 核验
- 已确认