VLA 图库 / 模型列表 / 导航

Uni-LaViRA

Nanjing University·Institute of Automation, Chinese Academy of Sciences·Beihang University·BMW (Nanjing) Information Technology Co., Ltd.·University of Rochester · 2026-05

기타导航未公开其他

一种免训练智能体：预训练MLLM用语言选择方向、用视觉指出目标像素，再将其转换为机器人动作；加入TODO List Memory与Second Chance Backtrack，以同一结构处理4类任务·4种机器人。

论文

Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied NavigationarXiv 2605.27582

概述

分类

导航

类型

기타

发布

2026-05

机构

Nanjing University·Institute of Automation, Chinese Academy of Sciences·Beihang University·BMW (Nanjing) Information Technology Co., Ltd.·University of Rochester

权重公开

部分

参数

未公开 (LA Gemini-3.1-Pro 大小未公开 + VA Qwen3.5-27B；地面实机 Qwen3.5-27B-Q4·9B-Q4)

架构

主干LLM

Gemini-3.1-Pro (LA，仿真·真实UAV) + Qwen3.5-27B (VA)；地面真机LA·VA均为Qwen3.5-27B-Q4 / 9B-Q4

视觉编码器

MLLM内置视觉 (Qwen3.5-27B VA做bbox·点grounding)

动作头

方向·工具调用文本 + 像素目标 → 3D点 → FMM/NavDP路径 (其他)

动作块

未公开

控制频率

每次LA调用30–60 s;G1速度指令1 Hz

架构原文摘要

无需训练的三级转换：Language Action(Gemini-3.1-Pro；实机为Qwen3.5-27B/9B-Q4)选择方向(前·左·右·后)·工具调用(turn·backtrack·stop等) → Vision Action(Qwen3.5-27B)在所选时刻的图像上指定bbox/点 → Robot Action反投影为3D点后生成FMM(仿真)·NavDP(实机)路径 → 各机器人控制器；仿真地面为离散移动(前进0.25 m·旋转30°)，UAV为(x,y,z)航点

训练

预训练加速器

不适用

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

不适用 (无训练，仅使用提示)

数据类型

不适用 (无训练数据)

数据规模

不适用 (仅评估：6个基准分层抽样100回合×3种子)

主要数据集

评估：R2R-CE；RxR-CE；HM3D-v2；HM3D-OVON；MP3D-EQA；OpenUAV(UM split)

任务·评估

零样本R2R-CE SR 60.7%·SPL 47.7，RxR-CE SR 51.3%·SPL 34.0，HM3D-v2 ObjectNav SR 77.7%·SPL 46.1，HM3D-OVON SR 60.0%，MP3D-EQA准确率54.7%，OpenUAV SR 40.0%(每个基准100回合×3种子，共1,800条轨迹)；4种实机演示

机器人

Agilex Cobot Magic轮式双臂(2-DoF差速底盘)、Unitree G1人形机器人、Unitree Go1四足、自制四旋翼UAV

推理

推理设备·速度

LA调用30–60 s(API正常)·80–150 s(争用),局部规划器·控制器各不到10 ms;每次调用LA输入22,305·输出1,618 token;仿真用RTX 4090 8张并行rollout;真机Cobot Magic机载RTX 4090(Qwen3.5-27B-Q4),G1·Go1机载Jetson Orin NX(Qwen3.5-9B-Q4)

推理显存

未公开

权重 bf16（计算）

未公开

运行位置

仿真经API远程；真实机器人机载RTX 4090 / Jetson Orin NX

强化学习与底盘

强化学习

未使用 · 无训练(基于提示的智能体)；下层NavDP直接使用已有的模仿学习模型

底盘控制

轮式·四足·人形双足·飞行 (航点 → 跟踪控制器) · 将LA·VA选出的目标像素反投影为3D点 → 由各机器人默认控制器跟踪NavDP轨迹(Cobot Magic比例速度控制,G1 (vx,vy,ωz) 1 Hz,Go1速度模式);UAV为PX4位置控制

备注

核心特点

一种免训练智能体：预训练MLLM用语言选择方向、用视觉指出目标像素，再将其转换为机器人动作；加入TODO List Memory与Second Chance Backtrack，以同一结构处理4类任务·4种机器人。无需机器人数据训练即达到R2R-CE SR 60.7%·HM3D-v2 ObjectNav SR 77.7%，与基于训练的导航基础模型相当或更优。

备注

没有自行训练的权重(无需训练的框架)：仿真主要结果依赖非公开的Gemini-3.1-Pro API，而VA Qwen3.5-27B·实机Qwen3.5 Q4·底层NavDP为公开权重，故标为'部分'。代码公开(CC BY-NC-SA 4.0)。实机地面3种平台在Robot Action阶段用NavDP代替FMM。机构Beihang University以项目页面作者署名为准。扩展自前作LaViRA(零样本VLN-CE)。基于：LaViRA: Language-Vision-Robot Actions Translation for Zero-Shot Vision Language Navigation in Continuous Environments (arXiv 2510.19655) — 官方代码README明确写有'This work builds on LaViRA'，项目页面写有'Previously on LaViRA'

核验

已反映修正