X-Mobility

NVIDIA·UT Austin·UC Berkeley · 2024-10

VA내비게이션미공개회귀

자기회귀 잠재 world model로 환경 동역학을 먼저 학습하고 그 잠재 상태 위에서 행동 정책을 분리 학습해 시뮬 데이터만으로 일반화하는 종단간 내비게이션 모델이다.

논문

분류: 내비게이션
유형: VA
발표: 2024-10
기관: NVIDIA·UT Austin·UC Berkeley
가중치 공개: 예
파라미터: 미공개 (총합 미기재; 구성요소: 이미지 인코더 22.1M·상태 추정 5.5M·예측 2.3M·융합 28.5M·행동/경로 디코더 각 10.5M·시맨틱 디코더 34.2M·RGB diffuser 962M)

백본 LLM: 없음
비전 인코더: DINOv2 (22.1M, 미세조정)
액션 헤드: MLP 행동 디코더: 6차원 속도 + 경로 5포즈 (회귀)
청크: 없음 (1스텝 속도; 경로 5포즈 보조)
제어 주기: 미공개 (Jetson P50 38.6 ms)
구조 원문 요약: DINOv2 이미지 인코더(22.1M) + 속도 인코더 → GRU 기반 잠재 상태 추정·예측(자기회귀 world model) → 경로(route) 임베딩과 self-attention 융합 → MLP: 6차원 속도 명령(선·각속도) + 경로 5포즈; 학습 시 시맨틱·RGB(LDM) 디코더로 world model 감독

사전학습 가속기: H100 8장
사전학습 기간: 미공개
사전학습 스텝·배치: world model 100 에폭(무작위 행동 데이터) → 정책 동시 학습 100 에폭 · 배치 32
GPU·TPU-시간: 미공개
파인튜닝: 해당 없음 (실로봇 미세조정 없음)
데이터 종류: 시뮬레이션·합성
데이터 규모: Isaac Sim 창고 4종, 5 Hz 기록: Nav2 교사 100K 프레임 + 무작위 행동 160K 프레임
주요 데이터셋: x_mobility_isaac_sim_nav2_100k; x_mobility_isaac_sim_random_160k (HF nvidia/X-Mobility 데이터셋)
태스크·평가: Isaac Sim 창고 성공률 96% (BC 92%, Nav2 58%, MILE 34%); 무작위 장애물 68% (BC 56%, Nav2 34%, MILE 26%); 실 Nova Carter 단일 장애물 10/10·다중 장애물 8/9 (정상·어두운 조명)
로봇: NVIDIA Nova Carter 바퀴형(실·시뮬), Forklift 바퀴형(Ackermann 구동, 시뮬); Unitree Go2 사족·G1 휴머노이드(시뮬, RL 보행 정책 결합)

추론 장치·속도: Jetson AGX Orin: 정책만 P50 38.6 ms·P95 41.96 ms·GPU 594 MB; 정책+시맨틱 P50 55.55 ms·804 MB; ONNX·TensorRT 변환 지원(README)
추론 메모리: 594 MB (정책만) / 804 MB (정책+시맨틱)
가중치 bf16 (계산): 미공개
실행 위치: 온보드 Jetson AGX Orin

강화학습: 일부 (RL 하위 제어기 결합) · 시뮬 Go2·G1 시연에서만 Isaac Lab RL 보행 정책이 속도 명령을 관절 제어로 변환; X-Mobility 자체는 Nav2 교사 모방학습
강화학습 근거: https://arxiv.org/html/2410.17491
베이스 제어: 바퀴형·사족보행·휴머노이드 보행 (베이스 속도·자세 직접 출력) · 정책이 선속도·각속도 명령 직접 출력(Nova Carter 실·시뮬); Go2·G1은 시뮬에서 Isaac Lab RL 보행 정책이 속도 명령을 관절 제어로 변환

핵심 특징: 자기회귀 잠재 world model로 환경 동역학을 먼저 학습하고 그 잠재 상태 위에서 행동 정책을 분리 학습해 시뮬 데이터만으로 일반화하는 종단간 내비게이션 모델이다. Isaac Sim 창고에서 성공률 96%(Nav2 58%)를 보였고 미세조정 없이 실제 Nova Carter에 제로샷 배포했다.
비고: 2단계 학습(무작위 행동으로 world model 사전학습 → Nav2 교사 데이터로 정책 추가). 총 파라미터·학습 시간 미공개. HF 체크포인트 1.44GB(x_mobility-nav2-semantic_action_path.ckpt), Apache 2.0 코드. 후속 COMPASS의 기반 정책.
검증: 수정 반영