VLA 图库 / 模型列表 / 产业界模型

V-JEPA 2-AC

Meta FAIR·Mila · 2025-06

VA产业界模型编码器最大1B其他

以100万小时以上互联网视频自监督训练world model，再用不到62 h的无标签机器人视频接上动作条件预测器。

论文

V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and PlanningarXiv 2506.09985

概述

分类

产业界模型

类型

VA

发布

2025-06

机构

Meta FAIR·Mila

权重公开

是

参数

编码器最大1B(论文)/1.2B(博客)；AC predictor约300M

架构

主干LLM

无

视觉编码器

V-JEPA 2 ViT-g (最大1B)

动作头

基于目标图像的MPC规划 (其他)

动作块

未公开

控制频率

未公开

架构原文摘要

自监督视频编码器ViT(最大ViT-g) + action-conditioned predictor(约300M，24层，block-causal attention)；基于目标图像的MPC规划(无语言输入)

训练

预训练加速器

未公开（仅有以A100为准的GPU-days对比表）

预训练时长

未公开

预训练步数·批量

未公开

GPU·TPU-小时

未公开

微调

未公开

数据类型

人类视频(互联网视频) + 图像 + 真实机器人无标签视频

数据规模

互联网视频100万h以上 + 图像100万张(VideoMix22M)；AC后训练DROID无标签机器人视频不到62 h

主要数据集

VideoMix22M, DROID

任务·评估

新环境·新物体zero-shot pick-and-place成功率65~80%(博客)；部署于两个不同实验室的Franka

机器人

Franka单臂

推理

推理设备·速度

MPC规划在单张RTX 4090上运行;规划时间数值未公开

推理显存

未公开

权重 bf16（计算）

2.4 GB

运行位置

本地PC

强化学习与底盘

强化学习

未使用 · 自监督视频预训练 + 动作条件预测器训练。执行采用MPC规划

底盘控制

固定 · 无底盘控制（Franka机械臂，MPC规划）

备注

核心特点

以100万小时以上互联网视频自监督训练world model，再用不到62 h的无标签机器人视频接上动作条件预测器。在两个实验室的Franka上以zero-shot 65~80%完成新物体pick-and-place。

备注

参数标注冲突：论文编码器'up to 1 billion' vs 博客'1.2 billion-parameter model'；参数(B)取较大值1.2。数据时间(h)为互联网视频'over 1 million hours'的下限值。发布2025-06-11。

核验

已确认