VLA 图库 / 模型列表 / 导航

VLN-R1

The University of Hong Kong·Shanghai AI Laboratory · 2025-06

VLA导航2B / 7B离散token

将通用VLM（Qwen2-VL）在基于第一人称视频的VLN上SFT后，以使用时间衰减奖励（TDR）的GRPO强化微调（RFT）改进多步动作预测。

论文

VLN-R1: Vision-Language Navigation via Reinforcement Fine-TuningarXiv 2506.17221

概述

分类

导航

类型

VLA

发布

2025-06

机构

The University of Hong Kong·Shanghai AI Laboratory

权重公开

否

参数

2B / 7B (Qwen2-VL-2B·7B)

架构

主干LLM

Qwen2-VL-7B / 2B (内置LLM名称未注明)

视觉编码器

Qwen2-VL内置视觉编码器 (细节未注明)

动作头

后续6个离散动作文本（选项字母 + 说明） (离散token)

动作块

6个动作

控制频率

未公开

架构原文摘要

Qwen2-VL-2B/7B全量微调;第一人称视频(每实例16张图像,最多65,536像素,约4.1K token) + 指令输入;以选项字母+说明文本输出接下来6个离散动作(FORWARD·TURN-LEFT·TURN-RIGHT·STOP,例'C. Turn right 30 degrees')

训练

预训练加速器

A800 8张 (7B SFT，DeepSpeed ZeRO-3)

预训练时长

36小时 (SFT 1个epoch)

预训练步数·批量

SFT 1个epoch · 全局批量64 (每GPU 2×累积4，lr 5e-6)

GPU·TPU-小时

288 (换算 · A800 8张 × 36小时 (7B SFT 1 epoch))

微调

RFT(GRPO): 每epoch约12小时(epoch数未注明), lr 1e-6,每提示8个样本, KL β 0.04,每GPU批量1, 20K样本 (7B为A800 8张环境)

数据类型

仿真·合成

数据规模

VLN-Ego：R2R 630K + RxR 1.2M训练样本(SFT 1.8M)；RFT每个数据集10K，共20K

主要数据集

VLN-Ego (由Habitat·MP3D生成；基于R2R 7,189条路径·RxR 42,023条轨迹)

任务·评估

R2R-CE val-unseen SR 30.2%·SPL 21.8%(7B), SR 25.6%·SPL 20.5%(2B);RxR-CE SR 22.3%(7B)·21.4%(2B);跨域(R2R SFT→RxR RFT) RxR SR 22.7%(7B)

机器人

无真实机器人 (Habitat仿真智能体)

推理

推理设备·速度

未公开 (仅Habitat仿真评估)

推理显存

未公开

权重 bf16（计算）

14 GB

运行位置

未公开

强化学习与底盘

强化学习

使用 (VLA RL后训练) · SFT后基于GRPO的RFT阶段(用Time-Decayed Reward奖励多阶段动作)

强化学习依据

https://arxiv.org/abs/2506.17221

底盘控制

仅仿真 (离散移动动作) · 无真实机器人：Habitat VLN-CE仿真智能体执行离散动作(前进·旋转·停止)

备注

核心特点

将通用VLM（Qwen2-VL）在基于第一人称视频的VLN上SFT后，以使用时间衰减奖励（TDR）的GRPO强化微调（RFT）改进多步动作预测。经RFT的2B模型超过仅SFT的7B模型，表明小型VLM同样可从RL后训练中获益。

备注

权重未公开(仅公开VLN-Ego训练数据·数据生成代码，SFT·RFT·评估代码准备中)；2B训练硬件未注明；各表数值部分不一致(Table 1与Table 3)；无真实机器人实验(作为局限明确说明)。

核验

已确认