VLA 图库 / 模型列表 / 参考基线(2024年以前)

ACT

Stanford University; UC Berkeley; Meta · 2023-04

VA参考基线(2024年以前)约80MCVAE

一次性回归动作块并用时间集成对重叠预测取平均的低成本双臂模仿学习策略。

论文

Learning Fine-Grained Bimanual Manipulation with Low-Cost HardwarearXiv 2304.13705

概述

分类

参考基线(2024年以前)

类型

VA

发布

2023-04

机构

Stanford University; UC Berkeley; Meta

权重公开

否

参数

约80M

架构

主干LLM

无

视觉编码器

ResNet18

动作头

关节位置动作块回归 + 时间集成 (CVAE)

动作块

100步

控制频率

50 Hz

架构原文摘要

ResNet18 + CVAE Transformer(编码器4层·解码器7层，hidden 512，FF 3200，8头，潜变量32维)；关节位置动作块k=100回归，指数加权时间集成，50 Hz

训练

预训练加速器

不适用

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

按任务：RTX 2080 Ti（11GB）1张，约 5小时；批量 8，lr 1e-5，KL权重 10；epoch论文未注明（README：仿真示例 2000，真实建议 5000 以上）

数据类型

真实机器人遥操作；仿真·合成

数据规模

真实每任务50条演示(Thread Velcro 100)，episode 8–14秒(400–700步)，每任务约10–20分钟；仿真每任务50条演示(脚本·人类)

主要数据集

ALOHA自采

任务·评估

真实6项任务(Slide Ziploc，Slot Battery，Open Cup，Thread Velcro，Prep Tape，Put On Shoe)；仿真2项任务(Transfer Cube，Bimanual Insertion)

机器人

ALOHA低成本双臂(主从遥操作)，系统不足2万美元

推理

推理设备·速度

约0.01秒(RTX 2080 Ti)

推理显存

未公开

权重 bf16（计算）

0.2 GB

运行位置

本地PC

强化学习与底盘

强化学习

未使用 · 模仿学习（CVAE行为克隆）

底盘控制

固定 · 无底盘控制（ALOHA固定双臂）

备注

核心特点

一次性回归动作块并用时间集成对重叠预测取平均的低成本双臂模仿学习策略。用不到2万美元的ALOHA设备和每项任务50个演示学会精细双臂作业。

备注

所有算力数值均按任务。数据长度仅以分钟为单位公开（每任务约 10–20分钟），因此时长(h)栏留空。代码·仿真数据公开，无检查点。

核验

已确认