VLA 图库 / 模型列表 / VA

EgoMimic

Georgia Institute of Technology; Stanford University · 2024-10

VAVA未公开回归

将用Project Aria眼镜拍摄的第一人称人类演示与机器人遥操作在一个策略中联合训练。

论文

EgoMimic: Scaling Imitation Learning via Egocentric VideoarXiv 2410.24221

概述

分类

VA

类型

VA

发布

2024-10

机构

Georgia Institute of Technology; Stanford University

权重公开

未核实

参数

未公开

架构

主干LLM

无

视觉编码器

ResNet18†

动作头

SE(3)位姿 + 关节解码器 (回归)

动作块

100步†

控制频率

25 Hz (推理1 Hz)

架构原文摘要

基于ACT的共享Transformer(编码器4·解码器7层，hidden 512，FF 3200，8头；ResNet18†) + 人·机器人共用SE(3)位姿解码器 + 机器人关节解码器；动作块100†

训练

预训练加速器

不适用(人类·机器人联合训练)

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

按任务：A40 4张，120,000 次迭代，全局批量 128，约 24小时（'All models'）；lr 5e-5

数据类型

人类视频；真实机器人遥操作

数据规模

人类：Object-in-Bowl 1,400(60分钟)，Groceries 160(80分钟)，Laundry 590(100分钟)；机器人：270(120分钟)，300(300分钟)，430(300分钟)

主要数据集

Project Aria自行采集人类数据;自有机器人遥操作

任务·评估

Continuous Object-in-Bowl, Groceries, Laundry

机器人

ViperX 300 S双臂 + Project Aria眼镜(人类数据)

推理

推理设备·速度

RTX 4090台式机上推理1 Hz,控制25 Hz

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

本地PC

强化学习与底盘

强化学习

未使用 · 人类·机器人数据联合模仿学习

底盘控制

固定 · 无底盘控制（ViperX固定双臂）

备注

核心特点

将用Project Aria眼镜拍摄的第一人称人类演示与机器人遥操作在一个策略中联合训练。以Object-in-Bowl为准,人类数据60分钟采集1,400条演示,机器人数据120分钟采集270条演示。

备注

ResNet18·动作块100在核验提取中未找到，无法确认(†)。采集耗时仅以分钟为单位公开，故时间(h)栏留空。

核验

已确认