VLA 图库模型列表图库

VLA 图库 / 模型列表 / 人形机器人VLA

EgoVLA

UIUC·MIT·NVIDIA·UC San Diego · 2025-07

VLA人形机器人VLANVILA-2B + 动作头300M回归

以人类第一人称视频预训练后用机器人演示微调，将人手动作空间迁移到人形机器人双手操作。

在图库中查看架构图论文 ↗

论文

EgoVLA: Learning Vision-Language-Action Models from Egocentric Human VideosarXiv 2507.12440

概述

分类
人形机器人VLA
类型
VLA
发布
2025-07
机构
UIUC·MIT·NVIDIA·UC San Diego
权重公开
未核实
参数
NVILA-2B + 动作头300M (总量未公开)

架构

主干LLM
NVILA-2B内的LLM (未注明)
视觉编码器
NVILA视觉编码器
动作头
Transformer动作头300M (手腕 + MANO) (回归)
动作块
30步 (1秒)
控制频率
30 Hz
架构原文摘要
NVILA-2B VLM + 300M Transformer动作头(编码器6层,hidden 1536);动作 = 手腕位姿(3D位置 + rot6D) + MANO手部关节前15个PCA成分,1秒时域(30 Hz × 30步)

训练

预训练加速器
未公开
预训练时长
未公开
预训练步数·批量
未公开
GPU·TPU-小时
未公开
微调
未公开；每任务机器人演示100条
数据类型
人类视频 / 仿真·合成
数据规模
图像-动作对约500,000个；机器人演示每任务100条
主要数据集
HOI4D视频4,000个,HOT3D 833分钟,HoloAssist 166小时(1/10子采样),TACO动作序列2,317个
任务·评估
Ego Humanoid Manipulation Benchmark 12个任务(短时程7·长时程5)；训练背景下短时程平均77.78%，长时程45.93%
机器人
仿真Unitree H1 + Inspire灵巧手(NVIDIA Isaac Lab)

推理

推理设备·速度
30 Hz动作时域；硬件未公开
推理显存
未公开
权重 bf16（计算）
未公开
运行位置
未公开

强化学习与底盘

强化学习
未使用 · 人类视频预训练 + 模仿学习
底盘控制
固定 · 无底盘控制（仅上身：机械臂EE IK + 手部关节，36维；仿真H1腿部不控制）

备注

核心特点
以人类第一人称视频预训练后用机器人演示微调，将人手动作空间迁移到人形机器人双手操作。
备注
训练设置推迟到补充材料，正文中没有(核查NOT FOUND，补充材料访问失败)。参数(B)因总参数未公开为null。数据时间因无整体合计为null。
核验
已确认

同类其他模型