VLA 图库 / 模型列表 / 自回归与潜在动作VLA

Moto

HKU·Tencent ARC Lab(PCG)·CUHK·UC Berkeley · 2024-12

VA自回归与潜在动作VLAGPT主干98M；分词器大小未注明潜在动作

用从视频中学到的潜在运动token预训练GPT，再连接到实际动作。

论文

Moto: Latent Motion Token as the Bridging Language for Robot ManipulationarXiv 2412.04445

概述

分类

自回归与潜在动作VLA

类型

VA

发布

2024-12

机构

HKU·Tencent ARC Lab(PCG)·CUHK·UC Berkeley

权重公开

是

参数

GPT主干98M；分词器大小未注明

架构

主干LLM

无

视觉编码器

VQ-VAE潜在运动token

动作头

潜在运动token → 动作 (潜在动作)

动作块

未公开

控制频率

未公开

架构原文摘要

Moto-GPT(12层·768 hidden);VQ-VAE潜在动作token(码本128,每帧对8个token),联合微调中同时预测动作token与动作

训练

预训练加速器

'40G GPU' 8张(Moto-GPT)，4张(分词器)；型号未注明

预训练时长

未公开

预训练步数·批量

Moto-GPT 10 epochs·batch 512;tokenizer 350k(OXE)/150k(CALVIN) steps·batch 256

GPU·TPU-小时

未公开

微调

'40G GPU' 4张，3 epochs(RT-1)/18 epochs(CALVIN)；时间未公开

数据类型

真实机器人遥操作(视频) + 人类视频

数据规模

预训练：OXE 109k条轨迹视频 + SSv2 105k条人类视频；微调：RT-1 73k·CALVIN 18k条轨迹，真实90条演示

主要数据集

Open X-Embodiment, Something-Something V2, RT-1, CALVIN

任务·评估

CALVIN ABC→D平均长度3.10；SIMPLER综合0.614；真机60%

机器人

RT-1机器人(SIMPLER), CALVIN仿真,真实机器人(型号未注明)

推理

推理设备·速度

未公开

推理显存

未公开

权重 bf16（计算）

0.2 GB

运行位置

未公开

强化学习与底盘

强化学习

未使用 · 潜在运动预训练 + 模仿学习

底盘控制

固定 · 无底盘控制（仅机械臂：SIMPLER Google机器人仅有机械臂动作）

备注

核心特点

用从视频中学到的潜在运动token预训练GPT，再连接到实际动作。不使用预训练VLM，仅用98M主干。

备注

因无预训练VLM而归为VA。参数(B)以GPT主干98M为准。核实时将所属机构补充为HKU·Tencent ARC·CUHK·UC Berkeley。

核验

已反映修正