VLA 图库 / 模型列表 / 自回归与潜在动作VLA

CoT-VLA

Stanford·NVIDIA·MIT · 2025-03

VLA自回归与潜在动作VLA7B离散token

先生成子目标图像的视觉思维链(visual CoT) VLA。

论文

CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action ModelsarXiv 2503.22020

概述

分类

自回归与潜在动作VLA

类型

VLA

发布

2025-03

机构

Stanford·NVIDIA·MIT

权重公开

未核实

参数

7B(VILA-U)

架构

主干LLM

VILA-U 7B (基于Llama 2 7B)

视觉编码器

VILA-U视觉tokenizer

动作头

子目标图像生成 → 256-bin token (离散token)

动作块

10步

控制频率

未公开

架构原文摘要

VILA-U 7B(理解·生成一体)；生成子目标图像后输出动作块10动作，每个动作7个256-bin token(动作为full attention)

训练

预训练加速器

A100 96张(8张 × 12节点)

预训练时长

未公开（仅明示总量 11K A100-小时）

预训练步数·批量

10 epochs，global batch 2048，lr 1e-4，256×256图像

GPU·TPU-小时

11,000 (明示 · A100-小时)

微调

A100单节点，10–24 h(取决于数据量)，lr 1e-5·150 epochs

数据类型

真实机器人遥操作 + 人类视频

数据规模

未公开（仅混合比例：Bridge 24.14%，SSv2 3.45%，EPIC-KITCHENS-100 3.45%）

主要数据集

OXE子集, Something-Something V2, EPIC-KITCHENS-100

任务·评估

LIBERO平均81.13%;Bridge-V2 WidowX;Franka-Tabletop

机器人

WidowX，Franka，LIBERO仿真

推理

推理设备·速度

绝对速度未公开；以动作块10为准平均慢7倍

推理显存

未公开

权重 bf16（计算）

14 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 子目标图像生成 + 模仿学习

底盘控制

固定 · 无底盘控制（WidowX·Franka机械臂）

备注

核心特点

先生成子目标图像的视觉思维链(visual CoT) VLA。先生成256个图像token，以动作块10为准平均慢7倍。

备注

权重是否公开无法确认†(项目页面仅链接arXiv)。

核验

已确认