VLA 图库 / 模型列表 / 自回归与潜在动作VLA

Octo

UC Berkeley·Stanford·CMU·Google DeepMind · 2023-12

VA自回归与潜在动作VLA27Mdiffusion

不使用预训练VLM、以OXE 800k episode训练的通用VA策略。

论文

Octo: An Open-Source Generalist Robot PolicyarXiv 2405.12213

概述

分类

自回归与潜在动作VLA

类型

VA

发布

2023-12

机构

UC Berkeley·Stanford·CMU·Google DeepMind

权重公开

是

参数

27M(Small)/93M(Base)，不含T5-base 111M；2023-12技术报告Table 4中Base为86M

架构

主干LLM

无 (T5-base文本编码器)

视觉编码器

ViT patch token

动作头

扩散头 (3层MLP，20步) (diffusion)

动作块

4步 (微调默认)

控制频率

5·10·15 Hz (因机器人而异)

架构原文摘要

ViT-S/B规模Transformer + T5-base语言编码器(111M)；扩散动作头(3层MLP，20步)，动作块(微调默认4)，观测历史2帧

训练

预训练加速器

TPU v4-128 pod

预训练时长

Base 14 h(论文)；Small 8 h(README)

预训练步数·批量

300k steps, batch 2048(ViT-B)

GPU·TPU-小时

1,792 (换算 · TPU v4核-小时 (128 × 14 h，Octo-Base))

微调

A5000(24GB) 1张约5 h(50k steps，目标演示约100条)；仓库默认batch 256，head_only·head_mlp_only·full模式

数据类型

真实机器人遥操作

数据规模

800k回合(OXE 25个数据集)；预处理数据约1.2TB(README)

主要数据集

Open X-Embodiment(Fractal·Kuka·Bridge各17.0%权重)

任务·评估

4个机构9套真机设置(WidowX BridgeV2、UR5 TableTop、RT-1 Robot、Berkeley Bimanual等)；LIBERO平均75.1%(二手，OpenVLA README)

机器人

WidowX，UR5，RT-1机器人，双臂装置等9种装置；评估控制频率5·10·15 Hz

推理

推理设备·速度

单张RTX 4090上Base 13 it/s, Small 17 it/s(README);论文中无推理速度

推理显存

未公开

权重 bf16（计算）

0.2 GB

运行位置

本地PC

强化学习与底盘

强化学习

未使用 · OXE数据模仿学习

底盘控制

固定 · 无底盘控制（机械臂EE动作；RT-1机器人也仅为机械臂）

备注

核心特点

不使用预训练VLM、以OXE 800k episode训练的通用VA策略。借助模块化注意力，可针对新传感器·动作空间进行微调。

备注

发布月份以仓库v0.1.0标签（2023-12-14）和技术报告为准，arXiv v1为2024-05-20。参数(B)以Octo-Base（不含T5）为准，GPU·TPU-小时将TPU v4-128的128视为核心数折算。

核验

已确认