VLA 图库 / 模型列表 / 导航

OmniVLA

UC Berkeley·Toyota Motor North America·Princeton University · 2025-09

VLA导航7.5B回归

可单独或组合接收语言·目标图像·2D目标位置的全模态导航VLA，以10个平台9,500小时数据对OpenVLA 7B进行LoRA训练。

论文

OmniVLA: An Omni-Modal Vision-Language-Action Model for Robot NavigationarXiv 2509.19480

概述

分类

导航

类型

VLA

发布

2025-09

机构

UC Berkeley·Toyota Motor North America·Princeton University

权重公开

是

参数

7.5B (基于OpenVLA；OmniVLA-edge 50M)

架构

主干LLM

Llama 2-7B · OpenVLA配置

视觉编码器

DINOv2 + SigLIP

动作头

线性动作头 (回归8个航点，OFT式) (回归)

动作块

航点8个 (3 Hz · 2.4秒)

控制频率

动作间隔3 Hz (执行周期未公开)

架构原文摘要

OpenVLA 7B(Llama 2-7B + DINOv2·SigLIP,总计7.5B)输入当前·目标图像、2D目标位置、语言(以modality dropout遮蔽目标组合) → 用LLM输出上的线性动作头(OpenVLA-OFT式)回归8个航点(3 Hz,2.4秒) → 线速度·角速度指令;轻量版OmniVLA-edge 50M(基于ViNT,EfficientNet-B0·CLIP·FiLM)

训练

预训练加速器

H100 80GB 8张 (README标注为'across 8 nodes')

预训练时长

未公开

预训练步数·批量

每GPU批量7 × 梯度累积4 = 有效批量224；步数未公开

GPU·TPU-小时

未公开

微调

公开CAST数据微调版 (GPU·时间未公开)

数据类型

真实机器人遥操作 / 真实机器人自主行驶日志 / 网络视频 / 人类视频

数据规模

9,500小时·10个平台 (使用时长：GNM 62.0h，LeLaN 128.7h，FrodoBots-2K 700h，BDD-V 8,680h)

主要数据集

GNM混合；LeLaN混合；FrodoBots-2K(MBRA重新标注)；BDD-V(MBRA重新标注)；CAST(微调)

任务·评估

真实机器人成功率：语言0.73 (OmniVLA-edge 0.60，LeLaN 0.43，CounterfactualVLA 0.33，MiniVLA 0.23，SmolVLA 0.10)；2D位置0.95 (MBRA 0.86，NoMaD 0.33)；目标图像1.00 (MBRA 1.00，NoMaD 0.63，ViNT 0.50)

机器人

FrodoBots EarthRover Zero轮式，VizBot轮式，Unitree Go1四足

推理

推理设备·速度

现场部署：RTX 4090本地PC通过互联网接收前方图像·位置并发送速度指令；延迟·控制周期未公开

推理显存

未公开

权重 bf16（计算）

15 GB

运行位置

远程本地PC RTX 4090 (经互联网)

强化学习与底盘

强化学习

未使用 · 仅模仿学习（含MBRA·NoMaD合成动作标签）

底盘控制

轮式·四足 (航点 → 跟踪控制器) · VLA输出8个航点 → 将选中航点转换为线速度·角速度指令发送给机器人

备注

核心特点

可单独或组合接收语言·目标图像·2D目标位置的全模态导航VLA，以10个平台9,500小时数据对OpenVLA 7B进行LoRA训练。在真实机器人上语言目标成功率0.73(LeLaN 0.43)·2D位置0.95·目标图像1.00，与各模态专用策略持平或更高。

备注

用LoRA将训练参数限制在约5%。FrodoBots·BDD-V用MBRA,LeLaN用NoMaD合成动作标签。HF页面自动标注'8B params'(论文7.5B),BF16 safetensors约15.1GB。训练时间·推理延迟未公开。ICRA 2026。基础: OpenVLA: An Open-Source Vision-Language-Action Model (arXiv 2406.09246) — 从OpenVLA 7B检查点开始训练,基于OpenVLA-OFT代码库 (README)

核验

已确认