VLA 갤러리 / 모델 목록 / 내비게이션

ABot-N0

AMAP CV Lab (Alibaba) · 2026-02

VLA내비게이션4Bflow matching

LLM Brain과 flow matching Action Expert를 묶은 Brain-Action 구조로 점·물체·지시·POI·사람 추종 5개 내비게이션 과제를 한 VLA로 통합하고, 16.9M 전문가 궤적·5.0M 추론 샘플 데이터 엔진과 SAFE-GRPO RL로 학습한다.

논문

ABot-N0: Technical Report on the VLA Foundation Model for Versatile Embodied NavigationarXiv 2602.11598

개요

분류

내비게이션

유형

VLA

발표

2026-02

기관

AMAP CV Lab (Alibaba)

가중치 공개

아니오

파라미터

4B (Qwen3-4B 기반 + 엣지판 SigLIP-B/16 93M; 전체 수치 미기재)

구조

백본 LLM

Qwen3-4B

비전 인코더

ViT (엣지판 SigLIP-B/16 93M)

액션 헤드

flow matching 행동 전문가: BEV 웨이포인트 5개 (x, y, θ) + 추론 헤드 (flow matching)

청크

웨이포인트 5개

제어 주기

VLA 2 Hz · 컨트롤러 10 Hz 이상

구조 원문 요약

범용 멀티모달 인코더(ViT; 파노라마 좌·전·우 또는 전방, 에피소드 시각 메모리, 텍스트·점 목표) + Cognitive Brain Qwen3-4B(추론 헤드·행동 헤드) + flow matching Action Expert → 로컬 BEV 웨이포인트 5개(x,y,θ); 온보드 VLA 2 Hz(엣지판 SigLIP-B/16 93M·토큰 병합), 하위 Neural Controller >10 Hz

학습

사전학습 가속기

미공개

사전학습 기간

미공개

사전학습 스텝·배치

미공개 (3단계: 인지 워밍업 → 통합 감각운동 SFT → SAFE-GRPO)

GPU·TPU-시간

미공개

파인튜닝

3단계 SAFE-GRPO(Brain 동결, Action Expert만 SocCity 전문가 궤적·복합 보상으로 RL): 가속기·시간 미공개

데이터 종류

실로봇 텔레옵 / 실로봇 자율 주행 로그 / 웹 영상 / 시뮬레이션·합성 / 웹 비전-언어

데이터 규모

전문가 궤적 16.9M(PointGoal 4.0M: 인터넷 영상 의사 궤적 2.0M·합성 1.7M·실로봇 340K / 지시 추종 2.8M / ObjectGoal 3.6M / POI 2.5M(Wan2.1-I2V 생성 영상) / 사람 추종 4.0M) + 추론 샘플 5.0M(일반 VQA 1.1M 포함); 3D 장면 7,802개·10.7 km²(논문)/10.3 km²(README)

주요 데이터셋

VLN-CE R2R·RxR; HM3D·HM3D-OVON; InteriorGS; SocCity(자체 가상 도시); SCAND; HuRoN; RECON; CityWalker; 인터넷 영상(π³·MoGe 재구성)

태스크·평가

R2R-CE val-unseen SR 66.4%·SPL 63.9, RxR-CE SR 69.3%·SPL 60.0; HM3D-OVON val-unseen SR 54.0%; SocNav 폐루프 SR 88.3%(CityWalker 47.8%); CityWalker 개루프 MAOE 11.2(15.2); BridgeNav POI SR@0.3 m 88.68%; EVT-Bench STT SR 86.9%

로봇

Unitree Go2 X 사족(RGB 카메라 3대 약 270°, 4D LiDAR L2, RTK-GNSS)

추론

추론 장치·속도

Unitree Go2 온보드 Jetson Orin NX(157 TOPS, 16 GB)에서 VLA 2 Hz(토큰 압축, 성능 3% 감소), Neural Controller >10 Hz; 에이전트 플래너는 클라우드 RTX 4090; 메모리 사용량 미공개

추론 메모리

미공개

가중치 bf16 (계산)

8 GB

실행 위치

온보드 Jetson Orin NX (플래너는 클라우드 RTX 4090)

강화학습 · 베이스

강화학습

사용 (VLA RL 사후학습) · 3단계 SAFE-GRPO로 flow matching Action Expert를 RL(Brain 동결); 하위 Neural Controller도 Isaac Sim RL 미세조정

강화학습 근거

https://arxiv.org/html/2602.11598v1

베이스 제어

사족보행 (웨이포인트 → 추종 제어기) · VLA가 2 Hz로 BEV 웨이포인트 5개 출력 → Neural Controller(CE-Nav 기반, >10 Hz)가 몸체 속도(vx,vy,vyaw) 생성 → Go2 보행 제어

비고

핵심 특징

LLM Brain과 flow matching Action Expert를 묶은 Brain-Action 구조로 점·물체·지시·POI·사람 추종 5개 내비게이션 과제를 한 VLA로 통합하고, 16.9M 전문가 궤적·5.0M 추론 샘플 데이터 엔진과 SAFE-GRPO RL로 학습한다. 7개 벤치마크(R2R-CE SR 66.4%, SocNav 폐루프 SR 88.3% 등)에서 SOTA를 주장하며 Go2의 Jetson Orin NX에서 2 Hz로 온보드 구동된다.

비고

README·논문에 가중치·코드 공개 언급 없음(README는 논문·프로젝트 페이지만, Apache 2.0 표기). 장면 면적 상충: 논문 10.7 km² vs README 10.3 km². 문서 일부에 'ABot-NO' 표기. 하위 Neural Controller는 CE-Nav 기반 VelFlow 전문가를 Isaac Sim RL로 미세조정. 학습 연산·총 파라미터 미공개.

검증

수정 반영