VLA 图库 / 模型列表 / π系列

π0.5

Physical Intelligence · 2025-04

VLAπ系列总计未公开；VLM 2Bflow matching

一个模型先预测子任务文本再输出动作，与网络·多机器人·子任务标注数据联合训练。

论文

π0.5: a Vision-Language-Action Model with Open-World GeneralizationarXiv 2504.16054

概述

分类

π系列

类型

VLA

发布

2025-04

机构

Physical Intelligence

权重公开

部分

参数

总计未公开；VLM 2B(附录E)，Fig. 3 'SigLIP (400M) + Gemma (2B)'(预训练†)/'SigLIP (400M) + Gemma (2.6B)'(后训练†)；动作专家300M

架构

主干LLM

Gemma 2B · PaliGemma配置2B VLM

视觉编码器

SigLIP 400M

动作头

flow matching专家300M (预训练用FAST token) (flow matching)

动作块

50步

控制频率

50 Hz

架构原文摘要

PaliGemma初始化2B VLM + 300M动作专家;预训练用FAST离散token,后训练加入flow matching连续动作块(horizon 50, 50 Hz,denoising 10步,α=10.0)

训练

预训练加速器

未公开

预训练时长

未公开

预训练步数·批量

离散token 280k步 + 后训练80k步 / batch未公开

GPU·TPU-小时

未公开

微调

论文未公开。openpi pi05_full_droid_finetune：H100×8 约 2天，100k 步·批量 256（约 1 epoch），从PaliGemma训练 240k iter 约 5天；pi05_libero 30k 步·批量 256（时间未公开）。LeRobot：80 GB GPU 1张，批量 64·30k 步（二手）

数据类型

真实机器人遥操作 + 网络视觉-语言 + 语言指令演示·子任务标注

数据规模

移动操作约 400 h·约 100户；第1阶段训练示例的97.6%为非移动数据；语言指令（VI）演示约占上层移动示例的11%；openpi pi05_base 机器人数据 10k+ h

主要数据集

PI自有MM·ME·CE数据, OXE;CapsFusion, COCO, Cambrian-7M, PixMo, VQAv2

任务·评估

训练中未出现的真实住宅3处 + 模拟住宅；厨房·卧室整理(水槽洗碗，整理抽屉，洗衣篮，整理床铺)，10~15分钟任务，每项任务10次；训练地点3·12·22·53·82·104处规模扩展；openpi LIBERO 98.8/98.2/98.0/92.4，平均96.85

机器人

家用移动操作机器人(臂·夹爪·躯干升降目标位姿 + 底盘速度，50 Hz) + 非移动·跨具身形态机器人

推理

推理设备·速度

论文未公开；RTC论文：RTX 4090，denoising 5步模型延迟 76 ms

推理显存

> 8 GB (openpi README通用)

权重 bf16（计算）

未公开

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 网络·多机器人·子任务联合监督学习

底盘控制

轮式 (直接输出底盘速度/位姿) · 策略以50 Hz动作块直接输出底盘目标速度(线速度2D·角速度1D) (操作·导航端到端)

备注

核心特点

一个模型先预测子任务文本再输出动作，与网络·多机器人·子任务标注数据联合训练。在训练中未出现的3处真实住宅中完成了10~15分钟的整理任务。

备注

数据时长(h)取openpi README中pi05_base的'10k+ hours'（下限）；论文仅明示移动部分约 400 h。附录E num_heads=18与openpi gemma_2b的8不同。附录'action horizon of 50, i.e. H = 49'照录原文。openpi π0.5（2025-09公开）用KI训练，可能与论文配方不同，且仅支持flow头。

核验

已确认