VLA 图库 / 模型列表 / VA

CARP

Westlake University; Zhejiang University; Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing · 2024-12†

VAVA基于状态 0.65M离散token

将动作序列转为多尺度token，由粗到细进行自回归预测。

论文

CARP: Visuomotor Policy Learning via Coarse-to-Fine Autoregressive PredictionarXiv 2412.06782

概述

分类

VA

类型

VA

发布

2024-12†

机构

Westlake University; Zhejiang University; Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing

权重公开

是

参数

基于状态 0.65M(DP-C 65.88M，DP-T 8.97M)；图像 7.58M；Kitchen 3.88M；多任务 16.08M

架构

主干LLM

无

视觉编码器

未注明

动作头

多尺度VQ token（coarse-to-fine） (离散token)

动作块

16步

控制频率

未公开

架构原文摘要

多尺度动作VQ-VAE tokenizer（每个动作维度1个，K=4个尺度，16步时域）+ GPT式Transformer从粗尺度到细尺度预测离散token（交叉熵）

训练

预训练加速器

不适用

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

多任务：A100 1张，批量 512，200 epoch；Square训练成本（V100）：tokenizer 4.67 GPU-小时（28分×10）+ 策略 13.85 GPU-小时

数据类型

仿真·合成；真实机器人遥操作

数据规模

Robomimic每项任务200条演示；MimicGen每项任务1K条轨迹；真实每项任务50条演示

主要数据集

Robomimic; Franka Kitchen; Push-T; MimicGen

任务·评估

Robomimic Lift·Can·Square(状态·图像), Kitchen, Push-T; MimicGen 8项任务(多任务); 真实UR5e杯·碗2项任务

机器人

UR5e单臂；仿真

推理

推理设备·速度

在A100上以400次动作预测平均测得，实际为RTX 2060；比DP快10倍以上

推理显存

未公开

权重 bf16（计算）

0 GB

运行位置

本地PC

强化学习与底盘

强化学习

未使用 · 仅使用模仿学习（行为克隆）

底盘控制

固定 · 无底盘控制（UR5e单臂·仿真）

备注

核心特点

将动作序列转为多尺度token，由粗到细进行自回归预测。报告推理比扩散策略快10倍以上。

备注

参数(B)为最大多任务16.08M。对比参数：图像DP-C 255.61M·DP-T 9.01M，Kitchen DP-C 66.94M·DP-T 80.42M，多任务TCD 156.11M·SDP 159.85M(已修正)。同一V100测量下DP-C 12.17·DP-T 10.83 GPU-小时。任务指定为可学习的3维嵌入(无语言)。发布月份v1无法确认(†)。

核验

已反映修正