VLN-R1

The University of Hong Kong·Shanghai AI Laboratory · 2025-06

VLAナビゲーション2B / 7B離散トークン

汎用VLM(Qwen2-VL)を一人称動画ベースのVLNでSFTした後、時間減衰報酬(TDR)を使うGRPO強化ファインチューニング(RFT)で多段階の行動予測を改善した。

論文

バックボーンLLM: Qwen2-VL-7B / 2B (内蔵LLMの名称は記載なし)
ビジョンエンコーダ: Qwen2-VL内蔵ビジョンエンコーダ (詳細記載なし)
アクションヘッド: 次の6個の離散行動テキスト (選択肢の文字 + 説明) (離散トークン)
チャンク: 行動6個
制御周期: 非公開
構造の原文要約: Qwen2-VL-2B/7Bをフルファインチューニング; 一人称映像(インスタンスあたり画像16枚、最大65,536ピクセル、約4.1Kトークン) + 指示を入力; 次の6個の離散行動を選択肢の文字+説明テキストで出力(FORWARD・TURN-LEFT・TURN-RIGHT・STOP、例 'C. Turn right 30 degrees')

事前学習アクセラレータ: A800 8枚 (7B SFT、DeepSpeed ZeRO-3)
事前学習期間: 36時間 (SFT 1エポック)
事前学習ステップ・バッチ: SFT 1エポック · グローバルバッチ64 (GPUあたり2×累積4、lr 5e-6)
GPU・TPU時間: 288 (換算 · A800 8枚 × 36時間 (7B SFT 1エポック))
ファインチューニング: RFT(GRPO): エポックあたり約12時間(エポック数は記載なし)、lr 1e-6、プロンプトあたり8サンプル、KL β 0.04、GPUあたりバッチ1、20Kサンプル (7BはA800 8枚の環境)
データ種類: シミュレーション・合成
データ規模: VLN-Ego: R2R 630K + RxR 1.2Mの学習サンプル(SFT 1.8M); RFTはデータセットごとに10K、計20K
主要データセット: VLN-Ego (Habitat・MP3Dで生成; R2R 7,189経路・RxR 42,023軌跡ベース)
タスク・評価: R2R-CE val-unseen SR 30.2%・SPL 21.8%(7B)、SR 25.6%・SPL 20.5%(2B); RxR-CE SR 22.3%(7B)・21.4%(2B); クロスドメイン(R2R SFT→RxR RFT) RxR SR 22.7%(7B)
ロボット: 実ロボットなし (Habitatシミュレーションエージェント)

強化学習: 使用 (VLAのRL事後学習) · SFT後にGRPOベースのRFT段階(Time-Decayed Rewardで多段階行動に報酬)
強化学習の根拠: https://arxiv.org/abs/2506.17221
ベース制御: シミュレーションのみ (離散移動行動) · 実ロボットなし: Habitat VLN-CEシミュレーションエージェントが離散行動(前進・回転・停止)を実行

主な特徴: 汎用VLM(Qwen2-VL)を一人称動画ベースのVLNでSFTした後、時間減衰報酬(TDR)を使うGRPO強化ファインチューニング(RFT)で多段階の行動予測を改善した。RFTを経た2BモデルがSFTのみの7Bモデルを上回り、小型VLMでもRL事後学習の効果を示した。
備考: 重みは非公開(VLN-Ego学習データ・データ生成コードのみ公開、SFT・RFT・評価コードは準備中); 2B学習ハードウェアは記載なし; 表ごとの数値が一部不一致(Table 1とTable 3); 実ロボット実験なし(限界として明記)。
検証: 確認