SmolVLA

Hugging Face, Sorbonne University, valeo.ai, ENS Paris-Saclay · 2025-06

VLAFlow·Diffusion VLA0.45Bflow matching

コミュニティSO100データセット481個で事前学習した0.45Bの小型VLAで、単一GPU学習と民生GPU・CPUへのデプロイを目指す。

論文

バックボーンLLM: SmolLM2 · SmolVLM2-500Mの前半16層
ビジョンエンコーダ: SigLIP (SmolVLM2)
アクションヘッド: flow matchingエキスパート約100M (10ステップ) (flow matching)
チャンク: 50ステップ
制御周期: 非公開
構造の原文要約: SmolVLM-2(ブログ: SmolVLM2-500M)の前半16層(N=L/2) + 約100M flow matchingアクションエキスパート(cross・self-attentionを交互); チャンク50、flow 10ステップ、フレームあたり視覚トークン64; 非同期推論

事前学習アクセラレータ: GPU×4(機種非公開)
事前学習期間: 非公開
事前学習ステップ・バッチ: 200,000ステップ、globalバッチ256、bf16、cosine lr 1e-4→2.5e-6
GPU・TPU時間: 非公開
ファインチューニング: 論文: シミュレーション 100,000 ステップ・バッチ 64、実機 200,000 ステップ。LeRobot文書: A100 1枚で20k ステップ約4 h(バッチ 64)、約50 エピソードの録画を推奨。ハードウェアガイド: A100 40GB 1枚・バッチ 16・50 エピソード 5 エポックで約1~2 h、H100 80GB×4・5000 ステップ・バッチ 32 で27m 49s、ピークVRAM 約10~16 GB(バッチ 8)
データ種類: 実ロボットのテレオペレーション(コミュニティ収集)
データ規模: 481データセット(論文)/487(ブログ)、22.9Kエピソード・10.6Mフレーム(ブログ: 30k未満のエピソード、約1千万フレーム)
主要データセット: LeRobotコミュニティデータセット(SO100、Hugging Face Hub)
タスク・評価: LIBERO平均87.3%、Meta-World 57.3%(0.45B); SO100 Pick-Place 75%・Stacking 90%・Sorting 70%(平均78.3%); SO101 in-distribution 90%、OOD 50%
ロボット: SO100、SO101(低価格単腕); シミュレーションLIBERO・Meta-World

推論デバイス・速度: コンシューマーGPU・CPUへの配備を目標; 非同期推論 9.7 s vs 同期 13.75 s(約30%短縮); ブログでは処理量2倍
推論メモリ: 非公開
重み bf16(計算): 4.5 GB
実行場所: ローカルPC (コンシューマGPU・CPUを目標)

主な特徴: コミュニティSO100データセット481個で事前学習した0.45Bの小型VLAで、単一GPU学習と民生GPU・CPUへのデプロイを目指す。非同期推論でタスク完了時間を約30%短縮した。
備考: パラメータ(B)はTable 2の最大バリアント2.25B(主モデル・公開重みは0.45B)。事前学習にシミュレーションデータは不使用、タスク説明はQwen2.5-VL-3B-Instructで自動生成。30k GPU-時間はプロジェクト全体の値。
検証: 確認