VLA 图库 / 模型列表 / π系列

π0.5 + KI

π0.5 + KI (Knowledge Insulation)

Physical Intelligence · 2025-05

VLAπ系列总计未公开；2B LM主干混合

阻止动作专家的梯度流入VLM以保留VLM知识，同时用FAST token学习表征。

论文

Knowledge Insulating Vision-Language-Action Models: Train Fast, Run Fast, Generalize BetterarXiv 2505.23705

概述

分类

π系列

类型

VLA

发布

2025-05

机构

Physical Intelligence

权重公开

部分

参数

总计未公开；2B LM主干(width 2048，depth 18，mlp 16,384) + 动作专家300M

架构

主干LLM

Gemma 2B · PaliGemma配置2B VLM

视觉编码器

SigLIP 400M

动作头

FAST token(VLM) + flow专家300M，stop-gradient (混合)

动作块

50步

控制频率

未公开

架构原文摘要

PaliGemma初始化2B LM主干 + 300M动作专家;VLM以FAST离散token、专家以flow matching(horizon 50)训练,并用stop-gradient阻断专家梯度流入VLM;与VLM数据联合训练

训练

预训练加速器

未公开

预训练时长

未公开

预训练步数·批量

未公开（π0需要7.5倍步数才达到相近性能）

GPU·TPU-小时

未公开

微调

未公开

数据类型

真实机器人遥操作 + 网络视觉-语言

数据规模

未公开（12种具身配置 + OXE + VLM数据）

主要数据集

PI自有数据, OXE;CapsFusion, COCO, Cambrian-7M, PixMo, VQAv2,物体位置数据

任务·评估

LIBERO(from generalist 98.0/97.8/95.6/85.8,LIBERO-90 96.0;from scratch LIBERO-90 92.7);DROID 0.55±0.09(π0 0.49±0.09,π0-FAST 0.45±0.09);放入抽屉·bussing·叠衬衫,未知家庭移动4项任务(每任务10回合)

机器人

12种配置：单臂ARX·UR5·Franka；双臂ARX·AgileX·Trossen·UR5；双臂移动Trossen·ARX slate·Galaxea G1·Hexmove H1·Fibocom

推理

推理设备·速度

自身延迟数值未公开；引用π0-FAST ≈750 ms(RTX 4090)，π0方式10 Hz vs 自回归VLA 1.3 Hz

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 监督学习(用stop-gradient保护VLM)

底盘控制

轮式 (未说明格式) · 移动双臂任务（Make bed·Laundry in basket等）包含移动；底盘动作维度构成论文未注明（π0.5方式）

备注

核心特点

阻止动作专家的梯度流入VLM以保留VLM知识，同时用FAST token学习表征。π0需要7.5倍的步数才能达到相近性能，该方法每步计算量增加约20%。

备注

'π0.5 + KI'是任务指定的标签，论文称为'knowledge insulation'。openpi的π0.5·pi05_droid采用KI训练。附录B的num_heads=18与openpi的8冲突。π0-FAST在抽屉任务中执行时间长2倍。

核验

已确认