VLA ギャラリー / モデル一覧 / ナビゲーション

ABot-N0

AMAP CV Lab (Alibaba) · 2026-02

VLAナビゲーション4Bflow matching

LLM BrainとflowマッチングのAction Expertを組み合わせたBrain-Action構造で、ポイント・物体・指示・POI・人物追従の5つのナビゲーションタスクを1つのVLAに統合し、16.9Mのエキスパート軌跡・5.0Mの推論サンプルのデータエンジンとSAFE-GRPO RLで学習する。

論文

ABot-N0: Technical Report on the VLA Foundation Model for Versatile Embodied NavigationarXiv 2602.11598

概要

分類

ナビゲーション

タイプ

VLA

発表

2026-02

機関

AMAP CV Lab (Alibaba)

重み公開

なし

パラメータ

4B (Qwen3-4Bベース + エッジ版 SigLIP-B/16 93M; 全体の数値は記載なし)

構造

バックボーンLLM

Qwen3-4B

ビジョンエンコーダ

ViT (エッジ版SigLIP-B/16 93M)

アクションヘッド

flow matching行動エキスパート: BEVウェイポイント5個 (x, y, θ) + 推論ヘッド (flow matching)

チャンク

ウェイポイント5個

制御周期

VLA 2 Hz · コントローラ10 Hz以上

構造の原文要約

汎用マルチモーダルエンコーダ(ViT; パノラマ左・前・右または前方、エピソード視覚メモリ、テキスト・点目標) + Cognitive Brain Qwen3-4B(推論ヘッド・行動ヘッド) + flow matching Action Expert → ローカルBEVウェイポイント5個(x,y,θ); オンボードVLA 2 Hz(エッジ版 SigLIP-B/16 93M・トークンマージ)、下位Neural Controller >10 Hz

学習

事前学習アクセラレータ

非公開

事前学習期間

非公開

事前学習ステップ・バッチ

非公開 (3段階: 認知ウォームアップ → 統合感覚運動SFT → SAFE-GRPO)

GPU・TPU時間

非公開

ファインチューニング

第3段階 SAFE-GRPO(Brain凍結、Action ExpertのみSocCityエキスパート軌跡・複合報酬でRL): アクセラレータ・時間は非公開

データ種類

実ロボットのテレオペレーション / 実ロボットの自律走行ログ / Web動画 / シミュレーション・合成 / Web視覚言語

データ規模

専門家軌跡16.9M(PointGoal 4.0M: インターネット動画の疑似軌跡2.0M・合成1.7M・実ロボット340K / 指示追従2.8M / ObjectGoal 3.6M / POI 2.5M(Wan2.1-I2V生成動画) / 人物追従4.0M) + 推論サンプル5.0M(一般VQA 1.1Mを含む); 3Dシーン7,802個・10.7 km²(論文)/10.3 km²(README)

主要データセット

VLN-CE R2R・RxR; HM3D・HM3D-OVON; InteriorGS; SocCity(自前の仮想都市); SCAND; HuRoN; RECON; CityWalker; インターネット動画(π³・MoGeで再構成)

タスク・評価

R2R-CE val-unseen SR 66.4%・SPL 63.9、RxR-CE SR 69.3%・SPL 60.0; HM3D-OVON val-unseen SR 54.0%; SocNav閉ループSR 88.3%(CityWalker 47.8%); CityWalker開ループMAOE 11.2(15.2); BridgeNav POI SR@0.3 m 88.68%; EVT-Bench STT SR 86.9%

ロボット

Unitree Go2 X四足(RGBカメラ3台で約270°、4D LiDAR L2、RTK-GNSS)

推論

推論デバイス・速度

Unitree Go2オンボードJetson Orin NX(157 TOPS、16 GB)でVLA 2 Hz(トークン圧縮、性能3%低下)、Neural Controller >10 Hz; エージェントプランナーはクラウドRTX 4090; メモリ使用量は非公開

推論メモリ

非公開

重み bf16(計算)

8 GB

実行場所

オンボード Jetson Orin NX (プランナーはクラウドのRTX 4090)

強化学習・ベース

強化学習

使用 (VLAのRL事後学習) · 第3段階 SAFE-GRPOでflow matching Action ExpertをRL(Brain凍結); 下位Neural ControllerもIsaac Sim RLで微調整

強化学習の根拠

https://arxiv.org/html/2602.11598v1

ベース制御

四足歩行 (ウェイポイント → 追従制御器) · VLAが2 HzでBEVウェイポイント5個を出力 → Neural Controller(CE-Navベース、>10 Hz)が胴体速度(vx,vy,vyaw)を生成 → Go2歩行制御

備考

主な特徴

LLM BrainとflowマッチングのAction Expertを組み合わせたBrain-Action構造で、ポイント・物体・指示・POI・人物追従の5つのナビゲーションタスクを1つのVLAに統合し、16.9Mのエキスパート軌跡・5.0Mの推論サンプルのデータエンジンとSAFE-GRPO RLで学習する。7つのベンチマーク(R2R-CE SR 66.4%、SocNav閉ループSR 88.3%など)でSOTAを主張し、Go2のJetson Orin NX上で2 Hzでオンボード駆動する。

備考

README・論文に重み・コード公開の言及なし(READMEは論文・プロジェクトページのみ、Apache 2.0表記)。シーン面積が食い違う: 論文10.7 km² vs README 10.3 km²。文書の一部に'ABot-NO'表記。下位のNeural ControllerはCE-NavベースのVelFlowエキスパートをIsaac Sim RLでファインチューニング。学習計算量・総パラメータは非公開。

検証

修正反映