ABot-N0

AMAP CV Lab (Alibaba) · 2026-02

VLA导航4Bflow matching

以将LLM Brain与flow matching Action Expert组合的Brain-Action结构,把点·物体·指令·POI·跟人5项导航任务统一到一个VLA中,并用16.9M专家轨迹·5.0M推理样本数据引擎和SAFE-GRPO RL训练。

论文

主干LLM: Qwen3-4B
视觉编码器: ViT (边缘版SigLIP-B/16 93M)
动作头: flow matching动作专家：BEV航点5个 (x, y, θ) + 推理头 (flow matching)
动作块: 航点5个
控制频率: VLA 2 Hz · 控制器10 Hz以上
架构原文摘要: 通用多模态编码器（ViT；全景左·前·右或前向，回合视觉记忆，文本·点目标）+ Cognitive Brain Qwen3-4B（推理头·动作头）+ flow matching Action Expert → 局部BEV航点 5个（x,y,θ）；机载VLA 2 Hz（边缘版SigLIP-B/16 93M·token合并），下层Neural Controller >10 Hz

预训练加速器: 未公开
预训练时长: 未公开
预训练步数·批量: 未公开 (3阶段：认知预热 → 统一感知运动SFT → SAFE-GRPO)
GPU·TPU-小时: 未公开
微调: 3阶段SAFE-GRPO(Brain冻结，仅Action Expert用SocCity专家轨迹·复合奖励做RL)：加速器·时间未公开
数据类型: 真实机器人遥操作 / 真实机器人自主行驶日志 / 网络视频 / 仿真·合成 / 网络视觉-语言
数据规模: 专家轨迹16.9M(PointGoal 4.0M：互联网视频伪轨迹2.0M·合成1.7M·实机340K / 指令跟随2.8M / ObjectGoal 3.6M / POI 2.5M(Wan2.1-I2V生成视频) / 人物跟随4.0M) + 推理样本5.0M(含通用VQA 1.1M)；3D场景7,802个·10.7 km²(论文)/10.3 km²(README)
主要数据集: VLN-CE R2R·RxR; HM3D·HM3D-OVON; InteriorGS; SocCity(自建虚拟城市); SCAND; HuRoN; RECON; CityWalker; 互联网视频(π³·MoGe重建)
任务·评估: R2R-CE val-unseen SR 66.4%·SPL 63.9, RxR-CE SR 69.3%·SPL 60.0;HM3D-OVON val-unseen SR 54.0%;SocNav闭环SR 88.3%(CityWalker 47.8%);CityWalker开环MAOE 11.2(15.2);BridgeNav POI SR@0.3 m 88.68%;EVT-Bench STT SR 86.9%
机器人: Unitree Go2 X四足(RGB相机3台约270°，4D LiDAR L2，RTK-GNSS)

推理设备·速度: Unitree Go2机载Jetson Orin NX(157 TOPS，16 GB)上VLA 2 Hz(token压缩，性能下降3%)，Neural Controller >10 Hz；智能体规划器在云端RTX 4090；内存占用未公开
推理显存: 未公开
权重 bf16（计算）: 8 GB
运行位置: 机载Jetson Orin NX (规划器为云端RTX 4090)

强化学习: 使用 (VLA RL后训练) · 3阶段SAFE-GRPO对flow matching Action Expert做RL(Brain冻结)；底层Neural Controller也在Isaac Sim中RL微调
强化学习依据: https://arxiv.org/html/2602.11598v1
底盘控制: 四足 (航点 → 跟踪控制器) · VLA以2 Hz输出BEV航点5个 → Neural Controller(基于CE-Nav，>10 Hz)生成机体速度(vx,vy,vyaw) → Go2行走控制

核心特点: 以将LLM Brain与flow matching Action Expert组合的Brain-Action结构,把点·物体·指令·POI·跟人5项导航任务统一到一个VLA中,并用16.9M专家轨迹·5.0M推理样本数据引擎和SAFE-GRPO RL训练。在7个基准(R2R-CE SR 66.4%,SocNav闭环SR 88.3%等)上声称SOTA,并在Go2的Jetson Orin NX上以2 Hz机载运行。
备注: README·论文均未提及公开权重·代码(README仅有论文·项目页面,标注Apache 2.0)。场景面积冲突: 论文10.7 km² vs README 10.3 km²。部分文档写作'ABot-NO'。下层Neural Controller为以Isaac Sim RL微调的基于CE-Nav的VelFlow专家。训练算力·总参数未公开。
核验: 已反映修正