VLA 图库 / 模型列表 / VA

Data Scaling Laws

Tsinghua University; Shanghai Qi Zhi Institute; Shanghai AI Lab · 2024-10

VAVA超过396Mdiffusion

用UMI采集4万多条演示，表明泛化遵循环境·物体数量的幂律。

论文

Data Scaling Laws in Imitation Learning for Robotic ManipulationarXiv 2410.18647

概述

分类

VA

类型

VA

发布

2024-10

机构

Tsinghua University; Shanghai Qi Zhi Institute; Shanghai AI Lab

权重公开

是

参数

超过396M(视觉编码器 + 噪声预测网络)

架构

主干LLM

无

视觉编码器

DINOv2 ViT-L/14 (微调)

动作头

CNN U-Net扩散 (diffusion)

动作块

16步

控制频率

5 Hz

架构原文摘要

微调DINOv2 ViT-L/14 + CNN U-Net扩散策略；动作时域 16，图像观测时域 2（Pour Water·Unplug Charger 3），环境频率 5

训练

预训练加速器

不适用

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

按任务：最大数据集策略 A800 8张，75 epoch（5×10^5 步），75小时；批量 256

数据类型

人类视频(UMI手持夹爪演示)

数据规模

共40,000+演示；公开策略为环境-物体32对 × 每个环境50个演示

主要数据集

用UMI自采

任务·评估

Pour Water, Mouse Arrangement, Fold Towels, Unplug Charger;真机rollout 15,000次+;用4名采集者半天的数据在新环境·新物体2项任务上约90%成功

机器人

Franka Emika Panda + Weiss WSG-50，腕部GoPro

推理

推理设备·速度

RTX 4090(24GB)工作站

推理显存

未公开

权重 bf16（计算）

0.8 GB

运行位置

本地PC

强化学习与底盘

强化学习

未使用 · 人类手持演示模仿学习

底盘控制

固定 · 无底盘控制（Franka机械臂）

备注

核心特点

用UMI采集4万多条演示，表明泛化遵循环境·物体数量的幂律。结论是多样性比数据量更重要。

备注

参数(B)为下限值(超过396M)。单任务策略，无语言。4个任务策略在Hugging Face公开。ICLR 2025。

核验

已确认