VLA 图库 / 模型列表 / 产业界模型

RFM-1

Covariant · 2024-03

VLA产业界模型8B未公开

在单个8B模型中处理语言指令理解、in-context学习、动作条件视频预测。

论文

无论文

概述

分类

产业界模型

类型

VLA

发布

2024-03

机构

Covariant

权重公开

否

参数

8B

架构

主干LLM

未公开 (8B any-to-any Transformer)

视觉编码器

—

动作头

动作token + 动作条件视频预测 (未公开)

动作块

未公开

控制频率

未公开

架构原文摘要

multimodal any-to-any序列Transformer(文本·图像·视频·机器人动作·数值传感器)；以动作条件视频预测作为world model；动作块·频率未公开

训练

预训练加速器

未公开

预训练时长

未公开

预训练步数·批量

未公开

GPU·TPU-小时

未公开

微调

未公开

数据类型

真实机器人运行数据 + 互联网数据(文本·图像·视频)

数据规模

'tens of millions of trajectories'(新闻稿)；(二手) 'a million trajectories every few weeks'，15个国家数十家客户

主要数据集

Covariant实际部署机器人数据(未公开)

任务·评估

物流仓库pick-and-place；定量基准未公开；发布时尚未向客户部署

机器人

物流仓库拣选机器人（吸附等）

推理

推理设备·速度

未公开（world model视频生成约 512×512，约 5fps）

推理显存

未公开

权重 bf16（计算）

16 GB

运行位置

未公开

强化学习与底盘

强化学习

未公开 · 训练方式未公开

底盘控制

固定 · 无底盘控制（物流仓库拣选机械臂）

备注

核心特点

在单个8B模型中处理语言指令理解、in-context学习、动作条件视频预测。以部署在客户仓库的机器人的数千万条运行轨迹训练。

备注

发布于2024-03-11（新闻稿URL路径·IEEE Spectrum文章日期）。(二手，IEEE Spectrum) 数据包含静态图像·视频·关节角·力·吸附强度。博客表述为'largest real-world robot production dataset'。

核验

已确认