VLA 图库 / 模型列表 / 自回归与潜在动作VLA

ECoT

ECoT (Embodied Chain-of-Thought)

UC Berkeley·Stanford·University of Warsaw · 2024-07

VLA自回归与潜在动作VLA7B离散token

在动作之前生成计划·子任务·物体位置等具体推理，使OpenVLA的绝对成功率提高28%。

论文

Robotic Control via Embodied Chain-of-Thought ReasoningarXiv 2407.08693

概述

分类

自回归与潜在动作VLA

类型

VLA

发布

2024-07

机构

UC Berkeley·Stanford·University of Warsaw

权重公开

是

参数

7B(基于OpenVLA)

架构

主干LLM

Llama 2 7B · OpenVLA

视觉编码器

SigLIP + DINOv2

动作头

推理文本 → 256-bin token (离散token)

动作块

无 (单步)

控制频率

未公开

架构原文摘要

OpenVLA/Prismatic-7B;推理文本(TASK·PLAN·SUBTASK·MOVE·GRIPPER·OBJECTS,含边界框)后接256-bin动作token

训练

预训练加速器

未公开（README示例为GPU 8张）

预训练时长

未公开

预训练步数·批量

Bridge推理标注数据80k steps(ecot-openvla-7b-bridge)；批量未公开

GPU·TPU-小时

未公开

微调

OXE变体: OXE动作训练后用推理混合数据追加20k steps;GPU·时间·批量未公开

数据类型

真实机器人遥操作 + 仿真·合成(合成推理标注)

数据规模

Bridge v2 2.5M+ transitions(标注回合数未公开)

主要数据集

BridgeData V2，Embodied-CoT/embodied_features_bridge，OXE(变体)

任务·评估

WidowX泛化评估(每种方法314次)；绝对成功率比OpenVLA高28%

机器人

WidowX(Bridge)

推理

推理设备·速度

bf16 16 GB，4-bit约5 GB(README)；Hz未公开；5-step freeze +24%，异步+40%速度

推理显存

bf16 16 GB · 4-bit约5 GB (README)

权重 bf16（计算）

14 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 含推理文本的监督学习

底盘控制

固定 · 无底盘控制（WidowX机械臂）

备注

核心特点

在动作之前生成计划·子任务·物体位置等具体推理，使OpenVLA的绝对成功率提高28%。每步token数从7个增至约350个。

备注

推理标注流程(Prismatic-7B·Grounding DINO·OWLv2·SAM·Gemini 1.0)耗时7天。论文全文未记载GPU·批量。

核验

已确认