VLA 갤러리모델 목록갤러리

VLA 갤러리 / 모델 목록 / 내비게이션

Uni-LaViRA

Nanjing University·Institute of Automation, Chinese Academy of Sciences·Beihang University·BMW (Nanjing) Information Technology Co., Ltd.·University of Rochester · 2026-05

기타내비게이션미공개기타

사전학습 MLLM이 언어로 방향을 고르고 시각으로 목표 픽셀을 짚으면 이를 로봇 행동으로 번역하는 학습 없는 에이전트로, TODO List Memory와 Second Chance Backtrack을 더해 4개 과제군·4종 로봇을 한 구조로 다룬다.

갤러리에서 구조도 보기논문 ↗

논문

Uni-LaViRA: Language-Vision-Robot Actions Translation for Unified Embodied NavigationarXiv 2605.27582

개요

분류
내비게이션
유형
기타
발표
2026-05
기관
Nanjing University·Institute of Automation, Chinese Academy of Sciences·Beihang University·BMW (Nanjing) Information Technology Co., Ltd.·University of Rochester
가중치 공개
일부
파라미터
미공개 (LA Gemini-3.1-Pro 크기 비공개 + VA Qwen3.5-27B; 지상 실로봇 Qwen3.5-27B-Q4·9B-Q4)

구조

백본 LLM
Gemini-3.1-Pro (LA, 시뮬·실 UAV) + Qwen3.5-27B (VA); 지상 실로봇은 LA·VA 모두 Qwen3.5-27B-Q4 / 9B-Q4
비전 인코더
MLLM 내장 비전 (Qwen3.5-27B VA가 bbox·점 그라운딩)
액션 헤드
방향·도구 호출 텍스트 + 픽셀 목표 → 3D 점 → FMM/NavDP 경로 (기타)
청크
미공개
제어 주기
LA 호출당 30–60 s; G1 속도 명령 1 Hz
구조 원문 요약
학습 없는 3단 번역: Language Action(Gemini-3.1-Pro; 실로봇은 Qwen3.5-27B/9B-Q4)이 방향(전·좌·우·후)·도구 호출(turn·backtrack·stop 등) 선택 → Vision Action(Qwen3.5-27B)이 선택 시점 영상에 bbox/점 지정 → Robot Action이 3D 점으로 역투영 후 FMM(시뮬)·NavDP(실로봇) 경로 → 로봇별 제어기; 시뮬 지상 이산 이동(0.25 m 전진·30° 회전), UAV (x,y,z) 웨이포인트

학습

사전학습 가속기
해당 없음
사전학습 기간
해당 없음
사전학습 스텝·배치
해당 없음
GPU·TPU-시간
미공개
파인튜닝
해당 없음 (학습 없음, 프롬프트만 사용)
데이터 종류
해당 없음 (학습 데이터 없음)
데이터 규모
해당 없음 (평가만: 6개 벤치마크 계층 표집 100에피소드×3시드)
주요 데이터셋
평가: R2R-CE; RxR-CE; HM3D-v2; HM3D-OVON; MP3D-EQA; OpenUAV(UM split)
태스크·평가
제로샷 R2R-CE SR 60.7%·SPL 47.7, RxR-CE SR 51.3%·SPL 34.0, HM3D-v2 ObjectNav SR 77.7%·SPL 46.1, HM3D-OVON SR 60.0%, MP3D-EQA 정확도 54.7%, OpenUAV SR 40.0%(벤치마크당 100에피소드×3시드, 총 1,800 궤적); 실로봇 4종 시연
로봇
Agilex Cobot Magic 바퀴형 양팔(2-DoF 차동 베이스), Unitree G1 휴머노이드, Unitree Go1 사족, 자체 제작 쿼드로터 UAV

추론

추론 장치·속도
LA 호출 30–60 s(API 정상)·80–150 s(경합), 로컬 플래너·제어기 각 10 ms 미만; 호출당 LA 입력 22,305·출력 1,618 토큰; 시뮬 RTX 4090 8장 병렬 롤아웃; 실로봇 Cobot Magic 온보드 RTX 4090(Qwen3.5-27B-Q4), G1·Go1 온보드 Jetson Orin NX(Qwen3.5-9B-Q4)
추론 메모리
미공개
가중치 bf16 (계산)
미공개
실행 위치
시뮬 API 원격; 실로봇 온보드 RTX 4090 / Jetson Orin NX

강화학습 · 베이스

강화학습
미사용 · 학습 없음(프롬프트 기반 에이전트); 하위 NavDP는 기존 모방학습 모델을 그대로 사용
베이스 제어
바퀴형·사족보행·휴머노이드 보행·비행 (웨이포인트 → 추종 제어기) · LA·VA가 고른 목표 픽셀을 3D 점으로 역투영 → NavDP 궤적을 각 로봇 기본 제어기가 추종(Cobot Magic 비례 속도 제어, G1 (vx,vy,ωz) 1 Hz, Go1 속도 모드); UAV는 PX4 위치 제어

비고

핵심 특징
사전학습 MLLM이 언어로 방향을 고르고 시각으로 목표 픽셀을 짚으면 이를 로봇 행동으로 번역하는 학습 없는 에이전트로, TODO List Memory와 Second Chance Backtrack을 더해 4개 과제군·4종 로봇을 한 구조로 다룬다. 로봇 데이터 학습 없이 R2R-CE SR 60.7%·HM3D-v2 ObjectNav SR 77.7%를 내 학습 기반 내비게이션 파운데이션 모델과 대등하거나 앞섰다.
비고
자체 학습 가중치 없음(학습 없는 프레임워크): 시뮬 주 결과는 비공개 Gemini-3.1-Pro API에 의존하고 VA Qwen3.5-27B·실로봇 Qwen3.5 Q4·하위 NavDP는 공개 가중치라 '일부'로 표기. 코드 공개(CC BY-NC-SA 4.0). 실로봇 지상 3종은 FMM 대신 NavDP를 Robot Action 단계로 사용. 기관 Beihang University는 프로젝트 페이지 저자 표기 기준. 선행작 LaViRA(제로샷 VLN-CE) 확장. 기반: LaViRA: Language-Vision-Robot Actions Translation for Zero-Shot Vision Language Navigation in Continuous Environments (arXiv 2510.19655) — 공식 코드 README가 'This work builds on LaViRA'로 명시, 프로젝트 페이지 'Previously on LaViRA'
검증
수정 반영

같은 분류의 모델