VLA ギャラリー / モデル一覧 / ナビゲーション

Uni-LaViRA

Nanjing University·Institute of Automation, Chinese Academy of Sciences·Beihang University·BMW (Nanjing) Information Technology Co., Ltd.·University of Rochester · 2026-05

기타ナビゲーション非公開その他

事前学習済みMLLMが言語で方向を選び、視覚で目標ピクセルを指すと、それをロボット行動に変換する学習不要のエージェントで、TODO List MemoryとSecond Chance Backtrackを加えて4つのタスク群・4種のロボットを一つの構造で扱う。

論文

Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied NavigationarXiv 2605.27582

概要

分類

ナビゲーション

タイプ

기타

発表

2026-05

機関

Nanjing University·Institute of Automation, Chinese Academy of Sciences·Beihang University·BMW (Nanjing) Information Technology Co., Ltd.·University of Rochester

重み公開

一部

パラメータ

非公開 (LA Gemini-3.1-Pro サイズ非公開 + VA Qwen3.5-27B; 地上実ロボットは Qwen3.5-27B-Q4・9B-Q4)

構造

バックボーンLLM

Gemini-3.1-Pro (LA、シミュレーション・実機UAV) + Qwen3.5-27B (VA); 地上の実機はLA・VAともQwen3.5-27B-Q4 / 9B-Q4

ビジョンエンコーダ

MLLM内蔵ビジョン (Qwen3.5-27B VAがbbox・点でグラウンディング)

アクションヘッド

方向・ツール呼び出しテキスト + ピクセル目標 → 3D点 → FMM/NavDP経路 (その他)

チャンク

非公開

制御周期

LA呼び出しあたり30–60 s; G1速度指令1 Hz

構造の原文要約

学習不要の3段階翻訳: Language Action(Gemini-3.1-Pro; 実ロボットはQwen3.5-27B/9B-Q4)が方向(前・左・右・後)・ツール呼び出し(turn・backtrack・stopなど)を選択 → Vision Action(Qwen3.5-27B)が選択時点の映像にbbox/点を指定 → Robot Actionが3D点に逆投影後FMM(シミュレーション)・NavDP(実ロボット)で経路 → ロボット別制御器; シミュレーション地上は離散移動(0.25 m前進・30°旋回)、UAVは(x,y,z)ウェイポイント

学習

事前学習アクセラレータ

該当なし

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

該当なし (学習なし、プロンプトのみ使用)

データ種類

該当なし (学習データなし)

データ規模

該当なし (評価のみ: 6ベンチマークで層化抽出100エピソード×3シード)

主要データセット

評価: R2R-CE; RxR-CE; HM3D-v2; HM3D-OVON; MP3D-EQA; OpenUAV(UM split)

タスク・評価

ゼロショット R2R-CE SR 60.7%・SPL 47.7、RxR-CE SR 51.3%・SPL 34.0、HM3D-v2 ObjectNav SR 77.7%・SPL 46.1、HM3D-OVON SR 60.0%、MP3D-EQA 正解率54.7%、OpenUAV SR 40.0%(ベンチマークあたり100エピソード×3シード、計1,800軌跡); 実ロボット4機種でデモ

ロボット

Agilex Cobot Magic車輪型双腕(2-DoF差動ベース)、Unitree G1ヒューマノイド、Unitree Go1四足、自作クアッドロータUAV

推論

推論デバイス・速度

LA呼び出し30–60 s(API正常)・80–150 s(競合時)、ローカルプランナー・制御器は各10 ms未満; 呼び出しあたりLA入力22,305・出力1,618トークン; シミュレーションはRTX 4090 8枚で並列ロールアウト; 実機Cobot MagicはオンボードRTX 4090(Qwen3.5-27B-Q4)、G1・Go1はオンボードJetson Orin NX(Qwen3.5-9B-Q4)

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

シミュレーションはAPIでリモート; 実ロボットはオンボードRTX 4090 / Jetson Orin NX

強化学習・ベース

強化学習

不使用 · 学習なし(プロンプトベースのエージェント); 下位NavDPは既存の模倣学習モデルをそのまま使用

ベース制御

車輪型·四足歩行·ヒューマノイド歩行·飛行 (ウェイポイント → 追従制御器) · LA・VAが選んだ目標ピクセルを3D点へ逆投影 → NavDP軌跡を各ロボットの標準制御器が追従(Cobot Magicは比例速度制御、G1は(vx,vy,ωz) 1 Hz、Go1は速度モード); UAVはPX4位置制御

備考

主な特徴

事前学習済みMLLMが言語で方向を選び、視覚で目標ピクセルを指すと、それをロボット行動に変換する学習不要のエージェントで、TODO List MemoryとSecond Chance Backtrackを加えて4つのタスク群・4種のロボットを一つの構造で扱う。ロボットデータで学習せずにR2R-CE SR 60.7%・HM3D-v2 ObjectNav SR 77.7%を達成し、学習ベースのナビゲーション基盤モデルと同等以上となった。

備考

独自の学習済み重みなし(学習不要のフレームワーク): シミュレーションの主結果は非公開のGemini-3.1-Pro APIに依存し、VA Qwen3.5-27B・実ロボットQwen3.5 Q4・下位NavDPは公開重みのため「一部」と表記。コード公開(CC BY-NC-SA 4.0)。実ロボット地上3機種はFMMの代わりにNavDPをRobot Action段階で使用。機関Beihang Universityはプロジェクトページの著者表記に基づく。先行研究LaViRA(ゼロショットVLN-CE)の拡張。ベース: LaViRA: Language-Vision-Robot Actions Translation for Zero-Shot Vision Language Navigation in Continuous Environments (arXiv 2510.19655) — 公式コードREADMEが'This work builds on LaViRA'と明記、プロジェクトページ'Previously on LaViRA'

検証

修正反映