VLA 图库 / 模型列表 / 导航

Mobility VLA

Google DeepMind · 2024-07

VLA导航未公开其他

将环境演示导览视频整体输入长上下文VLM(Gemini 1.5 Pro)，找到符合文本·图像指令的目标帧，并用同一导览构建的拓扑图规划底层航点的无需训练的分层导航策略。

论文

Mobility VLA: Multimodal Instruction Navigation with Long-Context VLMs and Topological GraphsarXiv 2407.07775

概述

分类

导航

类型

VLA

发布

2024-07

机构

Google DeepMind

权重公开

否

参数

未公开 (Gemini 1.5 Pro)

架构

主干LLM

Gemini 1.5 Pro (云端API)

视觉编码器

Gemini 1.5 Pro内置 (细节未公开)

动作头

目标帧索引 → 拓扑图航点（Δx · Δy · Δθ） (其他)

动作块

无 (单步航点)

控制频率

上层每次查询10–30秒 · 下层0.19秒/步(仿真)

架构原文摘要

上层：Gemini 1.5 Pro长上下文VLM接收导览视频全部948帧(1 Hz) + 多模态指令，输出目标帧索引(每次查询10–30秒，云端) / 下层：基于COLMAP的拓扑图最短路径 → 以机器人为中心的航点动作(Δx, Δy, Δθ) → MPC跟踪；下层策略0.19秒/步(仿真)

训练

预训练加速器

不适用 (无训练，使用Gemini 1.5 Pro API)

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

不适用

数据类型

真实机器人遥操作

数据规模

无训练数据；以游戏手柄遥操作导览视频948帧(约16分钟，1 Hz)作为环境上下文

主要数据集

无训练数据集；以自有MINT指令(众包57条等)评估

任务·评估

真实办公室目标搜索SR：无需推理95%·需推理86%·小物体42%·多模态90%(Table 3)；端到端SR 80%·80%·40%·85%，SPL 0.59·0.69·0.38·0.64(Table 2，每类指令5条×起点4个)；仿真端到端SR 90%·SPL 0.84；在家居式环境(智能手机导览)中测试

机器人

轮式移动操作机器人（型号未注明），仅使用RGB相机

推理

推理设备·速度

VLM在云端运行(每次调用上传948张导览图像)，每次目标索引检索查询10–30秒；底层策略0.19±0.047秒/步(仿真)；机载算力需求小

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

云端 (Gemini 1.5 Pro) + 机器人MPC

强化学习与底盘

强化学习

未使用 · 无训练 (Gemini 1.5 Pro零样本 + 拓扑图规划)

底盘控制

轮式 (航点 → 跟踪控制器) · VLM选择目标帧 → 用MPC跟踪拓扑图路径上的航点(Δx·Δy·Δθ)

备注

核心特点

将环境演示导览视频整体输入长上下文VLM(Gemini 1.5 Pro)，找到符合文本·图像指令的目标帧，并用同一导览构建的拓扑图规划底层航点的无需训练的分层导航策略。在836 m²真实办公室中报告需推理·多模态指令的目标寻找成功率86%·90%，分别比现有方法高26%·60%。

备注

86%·90%为目标搜索率(Table 3)，端到端成功率(Table 2)为需推理80%·多模态85%，与叙述有出入；架构依据Gemini 1.5报告中的MoE Transformer描述；Gemini参数·推理硬件未公开；代码·权重未公开。

核验

已确认