VLA ギャラリー / モデル一覧 / Flow·Diffusion VLA
EO-1
EO-1 (EmbodiedOneVision)
EO-Robotics†(README連絡先 pjlab.org.cn、ミラー SHAILAB-IPEC) · 2025-08
VLAFlow·Diffusion VLA3Bハイブリッド
ビジョン・テキスト・アクションを混ぜたinterleavedシーケンスで、推論とアクションを1つのデコーダで共に学習する。
論文
EmbodiedOneVision: Interleaved Vision-Text-Action Pretraining for General Robot ControlarXiv 2508.21112
概要
- 分類
- Flow·Diffusion VLA
- タイプ
- VLA
- 発表
- 2025-08
- 機関
- EO-Robotics†(README連絡先 pjlab.org.cn、ミラー SHAILAB-IPEC)
- 重み公開
- あり
- パラメータ
- 3B
構造
- バックボーンLLM
- Qwen2.5-3B · Qwen2.5-VLで初期化
- ビジョンエンコーダ
- Qwen2.5-VL ViT
- アクションヘッド
- 自己回帰トークン + flow matching (10ステップ) (ハイブリッド)
- チャンク
- 16ステップ
- 制御周期
- 非公開
- 構造の原文要約
- Qwen2.5-VLで初期化した単一のdecoder-only Transformer; 離散自己回帰デコーディング + 連続flow matchingデノイジング、interleavedなビジョン-テキスト-アクションシーケンス; チャンク16、denoising 10回
学習
- 事前学習アクセラレータ
- 「128+ GPUs」(README、機種非公開; flash-attn 3はH100/H800推奨)
- 事前学習期間
- 非公開
- 事前学習ステップ・バッチ
- 5エポック、可変長パッキング(平均16,384)、バッチ1、lr 5×10⁻⁵(LM・projector)/1×10⁻⁵(ビジョン)
- GPU・TPU時間
- 非公開
- ファインチューニング
- LIBERO: GPU×8、デバイスあたり64(実効512)、50エポック; 実機はタスクあたり150デモ・25エポック(サブタスク:全体 9:1); 時間・機種は非公開
- データ種類
- 実ロボットのテレオペレーション + Web視覚言語 + interleavedの身体化データ
- データ規模
- 計135Bトークン: ロボット1.2Mエピソード(127.3Bトークン)、Web 5.7Mサンプル(7.1B)、EO-Data1.5M(1.0B)
- 主要データセット
- AgiBotWorld, OXE, RoboMIND, SO100-Community, IPEC-Franka; LLaVA-1.5, LLaVA-Video-178K, PixMo-Points, RefCOCO, RoboVQA; EO-Data1.5M
- タスク・評価
- LIBERO 98.2±0.3%(リポジトリ50エポック 99.7/99.8/99.2/94.8); SimplerEnv WidowX 72.7%、Google VM 76.5%・VA 63.0%; RoboVQA BLEU-4 58.5、ERQA 45.5; EO-Bench Spatial 36.4・Temporal 38.9; 実機86.0%
- ロボット
- Franka Panda, WidowX 250 S, AgiBot G-1, LeRobot SO100
推論
- 推論デバイス・速度
- RTX 4090 1枚で6 GB(README 約6.5 GB); 速度は非公開
- 推論メモリ
- 6 GB (README 約6.5 GB、RTX 4090)
- 重み bf16(計算)
- 6 GB
- 実行場所
- 非公開
強化学習・ベース
- 強化学習
- 不使用 · 模倣学習(行動クローニング)のみ使用
- ベース制御
- 固定 · ベース制御なし (AgiBot G-1を含む4プラットフォームの操作タスク)
備考
- 主な特徴
- ビジョン・テキスト・アクションを混ぜたinterleavedシーケンスで、推論とアクションを1つのデコーダで共に学習する。135Bトークン(ロボット 1.2M エピソード)で学習しLIBERO 98.2%を達成した。
- 備考
- 論文に学習GPUの記述なし('128+ GPUs'はREADMEのみ)。機関名は論文抽出で確認不可†。arXiv v5(2026-02-25)まで改訂。
- 検証
- 確認