π0

Physical Intelligence · 2024-10

VLAπ系列3.3Bflow matching

π系列首个在VLM主干上附加独立flow matching动作专家的模型，用7种机器人配置·68项任务约10,000 h数据预训练。

论文

主干LLM: Gemma 2B · PaliGemma 3B配置
视觉编码器: SigLIP 400M
动作头: flow matching动作专家300M (10步) (flow matching)
动作块: 50步
控制频率: 最高50 Hz
架构原文摘要: PaliGemma 3B VLM + 300M动作专家(从头训练);flow matching连续动作块H=50,最高50 Hz,积分10步

预训练加速器: 未公开
预训练时长: 未公开
预训练步数·批量: 700k步(compute parity变体160k) / 批量未公开
GPU·TPU-小时: 未公开
微调: 论文未公开（每个任务后训练数据 5~100+ h）。openpi：LoRA >22.5 GB（RTX 4090），Full >70 GB（A100 80GB/H100），pi0_libero 30k 步·批量 32（时间未公开）。LoRA A800×4 约 7 h·30k 步·批量 32（二手，X-VLA论文 App. K 重新训练）
数据类型: 真实机器人遥操作(自有 + 开放数据)
数据规模: 约10,000 h；自有903M timesteps；68项任务；开放数据占比9.1%
主要数据集: PI自有数据, OXE(Magic Soup), Bridge v2, DROID
任务·评估: 叠衬衫，Bussing easy/hard，Grocery bagging，Toast；多阶段：叠衣服，移动叠衣，移动烘干机，清空烘干机，Table bussing，折纸箱，To-go box，鸡蛋装盒；微调任务5种；openpi LIBERO 96.8/98.8/95.8/85.2，平均94.15
机器人: UR5e，双臂UR5e，Franka，双臂Trossen，双臂ARX·AgileX，移动Trossen·ARX，移动Fibocom (7种配置)

推理设备·速度: RTX 4090机载73 ms(图像编码器14 + 观测32 + 动作×10 27 ms),远程86 ms;openpi推理>8 GB
推理显存: > 8 GB (openpi README)
权重 bf16（计算）: 6.6 GB
运行位置: 机载或远程PC

强化学习: 未使用 · flow matching模仿学习
底盘控制: 轮式 (直接输出底盘速度/位姿) · 在移动配置中底盘动作包含于策略输出（Trossen·ARX 2维，Fibocom 3维）；其他为固定机械臂

核心特点: π系列首个在VLM主干上附加独立flow matching动作专家的模型，用7种机器人配置·68项任务约10,000 h数据预训练。可完成叠衣服·折纸箱等多阶段长时程任务。
备注: 按n^0.43对任务-机器人组合加权。当前arXiv PDF为v4(2026-01-08)，延迟表等在v1中也有。PI博客因403未核实。openpi权重自2025-02-03首次提交起公开(Apache-2.0)。
核验: 已确认