π0

Physical Intelligence · 2024-10

VLAπシリーズ3.3Bflow matching

VLMバックボーンに別個のflow matchingアクションエキスパートを付けたπシリーズ初のモデルで、7ロボット構成・68タスクの約10,000 hのデータで事前学習した。

論文

バックボーンLLM: Gemma 2B · PaliGemma 3B 構成
ビジョンエンコーダ: SigLIP 400M
アクションヘッド: flow matchingアクションエキスパート300M (10ステップ) (flow matching)
チャンク: 50ステップ
制御周期: 最大50 Hz
構造の原文要約: PaliGemma 3B VLM + 300Mアクションエキスパート(スクラッチから学習); flow matchingによる連続アクションチャンク H=50、最大50 Hz、積分10ステップ

事前学習アクセラレータ: 非公開
事前学習期間: 非公開
事前学習ステップ・バッチ: 700kステップ(compute parity変形は160k) / バッチ非公開
GPU・TPU時間: 非公開
ファインチューニング: 論文は非公開(タスクあたり事後学習データ 5~100+ h)。openpi: LoRA >22.5 GB(RTX 4090)、Full >70 GB(A100 80GB/H100)、pi0_libero 30k ステップ・バッチ 32(時間は非公開)。LoRA A800×4 約7 h・30k ステップ・バッチ 32(二次情報、X-VLA論文 App. K の再学習)
データ種類: 実ロボットのテレオペレーション(自社 + オープンデータ)
データ規模: 約10,000 h; 自社903M timesteps; 68タスク; オープンデータの比率9.1%
主要データセット: PI独自データ、OXE(Magic Soup)、Bridge v2、DROID
タスク・評価: シャツたたみ、Bussing easy/hard、Grocery bagging、Toast; 多段階: 洗濯物たたみ、モバイル洗濯、モバイル乾燥機、乾燥機の取り出し、Table bussing、箱組み立て、To-go box、卵の梱包; ファインチューニングタスク5種; openpi LIBERO 96.8/98.8/95.8/85.2、平均94.15
ロボット: UR5e、双腕UR5e、Franka、双腕Trossen、双腕ARX・AgileX、モバイルTrossen・ARX、モバイルFibocom (7構成)

推論デバイス・速度: RTX 4090搭載で73 ms(画像エンコーダ14 + 観測32 + アクション×10 27 ms)、リモート86 ms; openpi推論 >8 GB
推論メモリ: > 8 GB (openpi README)
重み bf16(計算): 6.6 GB
実行場所: オンボードまたはリモートPC

強化学習: 不使用 · flow matching模倣学習
ベース制御: 車輪型 (ベース速度・姿勢を直接出力) · モバイル構成ではベース行動が方策出力に含まれる (Trossen・ARX 2次元、Fibocom 3次元); それ以外は固定アーム

主な特徴: VLMバックボーンに別個のflow matchingアクションエキスパートを付けたπシリーズ初のモデルで、7ロボット構成・68タスクの約10,000 hのデータで事前学習した。洗濯物畳み・箱組み立てのような多段階の長期タスクを実行する。
備考: タスク・ロボットの組み合わせをn^0.43で重み付け。現在のarXiv PDFはv4(2026-01-08)で、遅延表などはv1にもある。PIブログは403で未確認。openpiの重みは2025-02-03の初回コミットから公開(Apache-2.0)。
検証: 確認