VLA 图库 / 模型列表 / π系列

Hi Robot

Physical Intelligence, Stanford, UC Berkeley · 2025-02

VLAπ系列上层PaliGemma-3B + 下层π0 3.3B；系统总量未公开flow matching

由上层VLM将用户提示与中途干预转换为1~3秒技能级语言指令、再由下层π0执行的分层系统。

论文

Hi Robot: Open-Ended Instruction Following with Hierarchical Vision-Language-Action ModelsarXiv 2502.19417

概述

分类

π系列

类型

VLA

发布

2025-02

机构

Physical Intelligence, Stanford, UC Berkeley

权重公开

否

参数

上层PaliGemma-3B + 下层π0 3.3B；系统总量未公开

架构

主干LLM

Gemma 2B × 2 (上层·下层，PaliGemma配置)

视觉编码器

SigLIP 400M

动作头

π0 flow matching专家 (flow matching)

动作块

未公开

控制频率

未公开

架构原文摘要

上层：PaliGemma-3B VLM(输出语言指令，每1秒或用户干预时重新执行)；下层：π0(PaliGemma-3B + flow matching动作专家)

训练

预训练加速器

不适用(复用PaliGemma-3B·π0初始化)

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

上层策略H100×8约2 h，batch 512，lr 1×10⁻⁵(1,000步预热)；下层策略时长未公开

数据类型

真实机器人遥操作(切分为1~3秒技能) + VLM生成的合成语言数据(提示·干预)

数据规模

未公开（时长·回合·合成示例数均未公开）

主要数据集

自有遥操作演示(名称未公开)

任务·评估

Table bussing，做三明治(食材最多6种)，购物装袋；每项任务·方法20 trials；指令准确率比GPT-4o高层策略平均高40%以上

机器人

UR5e(6-DoF，平行夹爪)，双臂ARX(6-DoF×2)，移动ARX(Mobile ALOHA)

推理

推理设备·速度

RTX 4090 1~2张;下层机载73 ms·远程(WiFi) 86 ms;上层RTX 4090 47 ms(prefill) + 13.2 ms(decode), H100 17.3 + 5.7 ms

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

本地PC

强化学习与底盘

强化学习

未使用 · 监督学习(含合成交互数据)

底盘控制

轮式 (直接输出底盘速度/位姿) · 下层π0策略输出包含移动ARX底盘2维 (grocery shopping)；上层VLM仅输出语言指令

备注

核心特点

由上层VLM将用户提示与中途干预转换为1~3秒技能级语言指令、再由下层π0执行的分层系统。上层策略用VLM合成的用户交互数据训练。

备注

训练计算·推理细节仅见于arXiv v2(2025-07-15)。合成数据生成VLM名称未公开。参数(B)因系统总计未公开为null。

核验

已反映修正