Mobility VLA

Google DeepMind · 2024-07

VLA내비게이션미공개기타

환경 시연 투어 영상 전체를 장문맥 VLM(Gemini 1.5 Pro)에 넣어 텍스트·이미지 지시에 맞는 목표 프레임을 찾고, 같은 투어로 만든 위상 그래프로 저수준 웨이포인트를 계획하는 학습 없는 계층형 내비게이션 정책이다.

논문

백본 LLM: Gemini 1.5 Pro (클라우드 API)
비전 인코더: Gemini 1.5 Pro 내장 (세부 미공개)
액션 헤드: 목표 프레임 인덱스 → 위상 그래프 웨이포인트 (Δx · Δy · Δθ) (기타)
청크: 없음 (1스텝 웨이포인트)
제어 주기: 상위 질의당 10–30초 · 하위 0.19초/스텝(시뮬)
구조 원문 요약: 상위: Gemini 1.5 Pro 장문맥 VLM이 투어 영상 948프레임(1 Hz) 전체 + 멀티모달 지시를 받아 목표 프레임 인덱스 출력(질의당 10–30초, 클라우드) / 하위: COLMAP 기반 위상 그래프 최단경로 → 로봇 중심 웨이포인트 행동(Δx, Δy, Δθ) → MPC 추종; 하위 정책 0.19초/스텝(시뮬)

사전학습 가속기: 해당 없음 (학습 없음, Gemini 1.5 Pro API 사용)
사전학습 기간: 해당 없음
사전학습 스텝·배치: 해당 없음
GPU·TPU-시간: 미공개
파인튜닝: 해당 없음
데이터 종류: 실로봇 텔레옵
데이터 규모: 학습 데이터 없음; 환경 문맥으로 게임패드 원격조작 투어 영상 948프레임(약 16분, 1 Hz) 사용
주요 데이터셋: 학습 데이터셋 없음; 자체 MINT 지시(크라우드소싱 57개 등) 평가
태스크·평가: 실사무실 목표 탐색 SR: 추론 불필요 95%·추론 필요 86%·작은 물체 42%·멀티모달 90%(Table 3); 종단 SR 80%·80%·40%·85%, SPL 0.59·0.69·0.38·0.64(Table 2, 범주별 지시 5개×시작점 4개); 시뮬 종단 SR 90%·SPL 0.84; 가정형 환경(스마트폰 투어) 시험
로봇: 바퀴형 모바일 매니퓰레이터(기종 미기재), RGB 카메라만 사용

추론 장치·속도: VLM은 클라우드 실행(호출마다 투어 이미지 948장 업로드), 목표 인덱스 탐색 질의당 10–30초; 하위 정책 0.19±0.047초/스텝(시뮬); 온보드 연산 요구는 적음
추론 메모리: 미공개
가중치 bf16 (계산): 미공개
실행 위치: 클라우드 (Gemini 1.5 Pro) + 로봇 MPC

강화학습: 미사용 · 학습 없음 (Gemini 1.5 Pro 제로샷 + 위상 그래프 계획)
베이스 제어: 바퀴형 (웨이포인트 → 추종 제어기) · VLM이 목표 프레임 선택 → 위상 그래프 경로의 웨이포인트(Δx·Δy·Δθ)를 MPC로 추종

핵심 특징: 환경 시연 투어 영상 전체를 장문맥 VLM(Gemini 1.5 Pro)에 넣어 텍스트·이미지 지시에 맞는 목표 프레임을 찾고, 같은 투어로 만든 위상 그래프로 저수준 웨이포인트를 계획하는 학습 없는 계층형 내비게이션 정책이다. 836 m² 실제 사무실에서 추론 필요·멀티모달 지시의 목표 탐색 성공률 86%·90%를 보고해 기존 방법보다 각각 26%·60% 높였다.
비고: 86%·90%는 목표 탐색률(Table 3)이고 종단 성공률(Table 2)은 추론 필요 80%·멀티모달 85%로 서술과 차이; 아키텍처는 Gemini 1.5 보고서의 MoE 트랜스포머 기술 기준; Gemini 파라미터·추론 하드웨어 비공개; 코드·가중치 미공개.
검증: 확인