VLA 图库 / 模型列表 / π系列

π0-FAST (FAST 토크나이저)

Physical Intelligence, UC Berkeley, Stanford · 2025-01

VLAπ系列3B离散token

用DCT与BPE压缩动作块，使高频连续控制可以作为自回归token学习。

论文

FAST: Efficient Action Tokenization for Vision-Language-Action ModelsarXiv 2501.09747

概述

分类

π系列

类型

VLA

发布

2025-01

机构

Physical Intelligence, UC Berkeley, Stanford

权重公开

是

参数

3B (基于PaliGemma-3B的VLA)

架构

主干LLM

Gemma 2B · PaliGemma 3B配置

视觉编码器

SigLIP 400M

动作头

FAST token自回归 (词表1024) (离散token)

动作块

1秒 (DROID 15步)

控制频率

5–50 Hz (因任务而异)

架构原文摘要

PaliGemma-3B,无动作专家;FAST离散动作token(DCT+BPE, rounding 10,词表1024)自回归解码,1秒动作块(DROID 15步),评估5~50 Hz

训练

预训练加速器

通用模型未公开；DROID单独策略（从PaliGemma开始）H100×8

预训练时长

通用模型未公开（GPU-小时比π0少5倍）；DROID单独策略约 4天

预训练步数·批量

通用模型未公开；DROID单独策略 240k iter·批量 256（3 epoch）

GPU·TPU-小时

未公开

微调

openpi pi0_fast_full_droid_finetune：H100×8约2天，100k步·批量256；pi0_fast_libero 30k步(LoRA版相同)。LeRobot LIBERO：H100×8，40k步·批量256(二手)

数据类型

真实机器人遥操作

数据规模

机器人数据 10k h；FAST+ tokenizer 1秒动作块约 100万个（正文）/1M条轨迹（摘要）；DROID 75k条回合·21M样本；LIBERO 270k样本

主要数据集

PI自有数据(903M timesteps), BRIDGE v2, DROID, OXE(占混合的9.1%)

任务·评估

Table bussing(UR5, 20 Hz), T-shirt folding(双臂ARX, 50 Hz), Grocery bagging, Toast(双臂Trossen, 50 Hz), Laundry folding; DROID零样本16项任务·44 trials(3个校区); openpi LIBERO 96.4/96.8/88.6/60.2, 平均85.5

机器人

UR5/UR5e，双臂ARX，双臂Trossen，DROID Franka；FAST+训练：ARX, AgileX, Fibocom Mobile, Franka FR3, UR5, Trossen, Mobile Trossen

推理

推理设备·速度

RTX 4090每个动作块约750 ms(解码30~60个动作token);π0在同一GPU上100 ms以内

推理显存

> 8 GB (openpi README通用)

权重 bf16（计算）

6 GB

运行位置

本地PC

强化学习与底盘

强化学习

未使用 · FAST token模仿学习

底盘控制

固定 · 无底盘控制（评估仅为固定操作臂；FAST+训练数据中含移动数据）

备注

核心特点

用DCT与BPE压缩动作块，使高频连续控制可以作为自回归token学习。相比π0训练GPU-小时减少5倍，但动作块推理约750 ms，较慢。

备注

压缩比BridgeV2 1.75×，DROID 3.6×，Bussing 5.0×，T-shirt 13.2×。FAST+分词器以Apache-2.0在HF公开。openpi pi0_fast_droid默认horizon为10，与论文DROID的15步不同。openpi README_train中的'约5天'(从PaliGemma起240k iter)以pi05_full_droid_finetune为准。

核验

已反映修正