VLA 图库 / 模型列表 / 移动操作

PanoVLA

Beihang University·Beijing Institute for General Artificial Intelligence(BIGAI)·Shandong University·Johns Hopkins University·Delta Intelligence · 2026-08

VLA移动操作未公开flow matching

在π0.5中插入全景专家的Mixture-of-Transformers，将360°全景的全局空间上下文与局部相机视图融合，并用单一VR全身遥操作采集轮式双臂机器人数据。

论文

Learning Panorama-Aware VLA for Mobile Manipulation with Whole-Body TeleoperationarXiv 2608.02257

概述

分类

移动操作

类型

VLA

发布

2026-08

机构

Beihang University·Beijing Institute for General Artificial Intelligence(BIGAI)·Shandong University·Johns Hopkins University·Delta Intelligence

权重公开

未核实

参数

未公开 (全景专家 100M；π0.5主干 Gemma-2B)

架构

主干LLM

Gemma-2B · π0.5 VLM配置

视觉编码器

SigLIP (局部视图) + MTPano (全景，冻结)

动作头

flow matching动作专家 (继承π0.5) (flow matching)

动作块

32步

控制频率

未公开 (数据 25 Hz)

架构原文摘要

基于π0.5的3专家Mixture-of-Transformers：VLM专家(SigLIP局部视图 + Gemma-2B) + 全景专家100M(双鱼眼 → 等距柱状全景，冻结MTPano特征) + flow matching动作专家；17维相对动作(双臂关节·夹爪14 + 底盘平面速度·yaw速度3) 32步动作块；数据25 Hz

训练

预训练加速器

不适用 (由π0.5微调)

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

A100 4张，30K步·每GPU批量64(bf16，lr在5K步预热后固定为5e-5)，LM·MTPano冻结，训练时间未公开

数据类型

真实机器人遥操作

数据规模

4个任务 × 200 = 800条轨迹，约5.5小时·约500k帧(25 Hz，每条轨迹20–30秒)

主要数据集

自有VR全身遥操作数据集(Move Pen·Move Block·Open Curtain·Wipe Table)

任务·评估

真实4项任务各15次：Move Pen SR 86.7%，Move Block 93.3%，Open Curtain 66.7%，Wipe Table 46.7%；平均SCR 91.3%·SR 73.4% (π0.5 58.6%·30.0%，π0.5 w/ Pano 80.8%·56.7%)

机器人

轮式双臂：RANGER MINI 3底盘 + Agilex PIPER 6-DoF机械臂 2个·平行夹爪；顶部360°全景相机·前向RGB·腕部相机 2台

推理

推理设备·速度

真实机器人评估时在RTX 4090 1块上闭环运行；延迟·控制频率未公开

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

RTX 4090 1张

强化学习与底盘

强化学习

未使用 · 仅模仿学习（flow matching）

底盘控制

轮式 (直接输出底盘速度/位姿) · 策略将底盘平面速度·yaw速度(3-DoF)与双臂关节一起以32步动作块直接输出

备注

核心特点

在π0.5中插入全景专家的Mixture-of-Transformers，将360°全景的全局空间上下文与局部相机视图融合，并用单一VR全身遥操作采集轮式双臂机器人数据。在4项真实任务中平均阶段完成率91.3%·最终成功率73.4%，大幅超过π0.5(58.6%·30.0%)。

备注

遥操作：VR头显·双手控制器·腰/脚踝追踪器3个 → SMPL重建 → GMR重定向(底盘为3-DoF平面虚拟floating base)。π0.5检查点名称·总参数·去噪步数·训练时间未公开。论文未提及代码·数据·权重公开。基于：π0.5: a Vision-Language-Action Model with Open-World Generalization (arXiv 2504.16054) — 在π0.5双专家主干中插入全景专家构成

核验

已确认