CogACT

Tsinghua University, Microsoft Research Asia, USTC, Institute of Microelectronics CAS · 2024-11

VLAFlow·Diffusion VLA7.6Bdiffusion

以VLM输出的cognition token为条件，由独立DiT生成动作序列，并用Adaptive Action Ensemble合并动作块。

论文

分类: Flow·Diffusion VLA
类型: VLA
发布: 2024-11
机构: Tsinghua University, Microsoft Research Asia, USTC, Institute of Microelectronics CAS
权重公开: 是
参数: 7.6B(正文，与RT-2-X 55B对比的值)；动作DiT Small 13M/Base 89M(默认)/Large 308M(补充材料表)·最大300M(正文)

主干LLM: Llama 2 7B · Prismatic-7B
视觉编码器: SigLIP + DINOv2
动作头: DiT扩散动作模块 (Base 89M，DDIM 10) (diffusion)
动作块: 16步
控制频率: 未公开
架构原文摘要: Prismatic VLM(DINOv2+SigLIP, LLaMA-2) cognition token + DiT扩散动作模块(Small 13M/Base 89M/Large 308M);16步×7-DoF动作块(未来N=15),训练时每样本扩散8步,推理DDIM 10步·cfg 1.5

预训练加速器: A100×16(FSDP)
预训练时长: 约5天
预训练步数·批量: 135K iter以上，批量256，lr 2e-5恒定
GPU·TPU-小时: 1,920 (换算(约) · A100-小时 (16张 × 约5天))
微调: 实机(Realman)：A100×16 FSDP全量微调，10K步检查点，7.5 h；README：A100×8单节点，global batch 256(每设备32)，建议约30 epoch
数据类型: 真实机器人遥操作
数据规模: OXE子集25个数据集,0.4M轨迹·22.5M帧;真机微调Realman 391条演示,Franka每任务100条(共400条)
主要数据集: Open X-Embodiment子集(25个)
任务·评估: SIMPLER Google Robot VM 74.8%·VA 61.3%，WidowX VM 51.3%；Realman实机平均71.2%(Pick 70.8，Stack 82.3，Place 60.4)；Franka实机4项任务平均61.4%
机器人: Google Robot, WidowX, Realman, Franka(单臂)

推理设备·速度: A6000 bf16：单次约181 ms(16个动作)，用Adaptive Action Ensemble约5.5 Hz(同一设备OpenVLA 307 ms·1个动作)；fp32约30 GB
推理显存: fp32约30 GB (A6000)
权重 bf16（计算）: 15.2 GB
运行位置: 本地PC

核心特点: 以VLM输出的cognition token为条件，由独立DiT生成动作序列，并用Adaptive Action Ensemble合并动作块。7.6B取得SIMPLER Google Robot VM 74.8%，Realman实机平均71.2%。
备注: 原文未说明7.6B对应哪种DiT规模(默认动作模块为DiT-Base)。笔记中的“Franka 30K检查点”是基线(Octo·OpenVLA)的值，已删除；CogACT只测试了10K步的一个检查点。最大DiT在表中为308M/正文为300M。检查点30 GB。
核验: 已反映修正