VLA ギャラリー / モデル一覧 / ナビゲーション

LightNav-0

Light Origins · 2026-08

VLAナビゲーション4.85B離散トークン

事前学習済みVLMに新しいヘッドを加えず、ポインティングトークンとRVQ行動トークンだけを追加して指示追従・物体探索・視覚追跡を一つのトークンインターフェースに統合し、ER中間学習→SFT→GRPO RLの順に学習する。

論文

LightNav-0: Eliciting VLM Spatial Intelligence for Generalist Embodied NavigationarXiv 2608.30935

概要

分類

ナビゲーション

タイプ

VLA

発表

2026-08

機関

Light Origins

重み公開

あり

パラメータ

4.85B (HF safetensors) / 4B (Qwen3-VL-4B-Instructベース; README表のLightNav-ER 4B、総量の記述なし)

構造

バックボーンLLM

Qwen3-VL-4B-Instruct (36層LLM)

ビジョンエンコーダ

Qwen3-VLネイティブ解像度ViT

アクションヘッド

ポインティングトークン2個 + RVQ行動トークン3個 → 10 SE(2)ウェイポイント (離散トークン)

チャンク

ウェイポイント10個

制御周期

約4–5 Hz (READMEの閉ループ)

構造の原文要約

Qwen3-VL-4B-Instruct(ネイティブ解像度ViT + 36層LLM)、タスク別ヘッドなしで語彙のみ拡張; ステップごとに二重チャネルのポインティングトークン2個(affordance・object) → RVQ行動トークン3個(コードブック K=256×3) → 10ステップのSE(2)ウェイポイントにデコーディング; 新しさベースの履歴圧縮; 最初のウェイポイントをロボット側MPCが追従、閉ループ約4–5 Hz

学習

事前学習アクセラレータ

H100 (枚数非公開)

事前学習期間

非公開

事前学習ステップ・バッチ

ER中間学習 バッチ128・最大10,240トークン・lr 1e-5、SFT バッチ320・最大8,192トークン(シーケンスあたり約8.6サンプルをパッキング)・lr 1.5e-5; ステップ非公開

GPU・TPU時間

1,120 (明示 · H100時間 (ER中間学習 "approximately 170 H100 GPU-hours" + SFT "approximately 950 H100 GPU-hours" の合算))

ファインチューニング

GRPOオンラインRL: H100 8枚の単一ノード、時間は非公開; 更新あたり256エピソード(G=8×B=32)、lr 1e-6

データ種類

シミュレーション・合成 / Web視覚言語

データ規模

ナビゲーション 2K+ シーン・4K+ 時間; ER中間学習 36ソース(ポインティング 35%・単一画像VQA 25%・一般推論 20%・動画推論 20%); SFTはナビ16 + ER/VQA 33ソース(ナビ教師 約77.6%) + DAgger収集分; ブログ: Stage II 指示 742K(固有 474K)

主要データセット

R2R; RxR; ScaleVLN; HM3D; MP3D; VLNVerse; Habitat-GS; InteriorGS; HM3D-OVON; EVT-Bench; ER: RefSpatial, RoboPoint, VSI-590K, SQA3Dなど

タスク・評価

R2R-CE val-unseen SR 68.5%・SPL 62.8、RxR-CE SR 73.6%・SPL 64.5; ObjectNav MP3D 53.3%・HM3D v1 74.5%・v2 77.2%、HM3D-OVON unseen 47.0%; EVT-Bench STT SR 91.7%・DT SR 82.6%; INSIGHT-Bench SR 43.7%; LightNav-ER 8つのERベンチ平均67.4; 実ロボット4種ゼロショット

ロボット

Unitree Go2四足、LimX TRON 1、LightBot-0、飛行ロボット(機種の記載なし); 論文はヒューマノイド・四足・飛行・車輪型の4種としてのみ記述

推論

推論デバイス・速度

RTX 4090で生成トークンあたり約4 ms(vLLM、論文); README: 単一GPUでステップあたり約60–150 ms、Jetson AGX Thorオンボードでbf16 268 ms(3.7 Hz)・fp8(LLMのみ) 178 ms(5.6 Hz)・閉ループ4.5–4.8 Hz; ロボット側MPC 10 Hz

推論メモリ

非公開

重み bf16(計算)

9.7 GB

実行場所

リモートGPUサーバーまたはオンボードJetson AGX Thor

強化学習・ベース

強化学習

使用 (VLAのRL事後学習) · SFT後にGRPOオンラインRL(タスク単位の終端報酬、グループ正規化アドバンテージ)

強化学習の根拠

https://arxiv.org/html/2608.30935v2

ベース制御

車輪型·四足歩行·ヒューマノイド歩行·飛行 (ウェイポイント → 追従制御器) · モデルが10ステップのSE(2)ウェイポイントを出力 → ロボット側MPCが最初のウェイポイントを線速度・角速度指令で追従(Go2・TRON1アダプタ); 飛行ロボットも実演

備考

主な特徴

事前学習済みVLMに新しいヘッドを加えず、ポインティングトークンとRVQ行動トークンだけを追加して指示追従・物体探索・視覚追跡を一つのトークンインターフェースに統合し、ER中間学習→SFT→GRPO RLの順に学習する。単眼RGBのみで10の公開シミュレーション設定において単眼手法として最高の成功率(R2R-CE SR 68.5%、EVT-Bench STT SR 91.7%)を達成し、ヒューマノイド・四足・飛行・車輪型ロボットにゼロショット転移した。

備考

GPU時間は2つの明示値の合算(RL段階の時間は非公開)。データ時間(h)は「4K+ hours」の下限。重み HF LightOriginsHQ/LightNav-0、コード Apache 2.0、INSIGHT-Benchは別途公開。ブログ(2026-09-01)は2,000+のインターネット実世界シーンを再利用可能なシミュレーション世界に変換したと説明。TRON 1・LightBot-0の種別分類は原文に記載なし。

検証

修正反映