VLA 갤러리 / 모델 목록 / 모바일 매니퓰레이션

MoManipVLA

Beijing University of Posts and Telecommunications·Nanyang Technological University·Tsinghua University · 2025-03

VLA모바일 매니퓰레이션7B이산 토큰

고정 베이스용 사전학습 VLA가 낸 말단 waypoint를 실현 가능하게 만드는 베이스 waypoint를 이중 최적화로 찾아 VLA를 모바일 매니퓰레이션으로 이전한다.

논문

분류: 모바일 매니퓰레이션
유형: VLA
발표: 2025-03
기관: Beijing University of Posts and Telecommunications·Nanyang Technological University·Tsinghua University
가중치 공개: 아니오
파라미터: 7B (OpenVLA-7B)

백본 LLM: Llama 2 7B · OpenVLA-7B 구성
비전 인코더: DINOv2 + SigLIP (OpenVLA 내장)
액션 헤드: OpenVLA 행동 토큰 → 말단 waypoint; 베이스 waypoint·말단 궤적은 이중 최적화 (이산 토큰)
청크: 미공개
제어 주기: 미공개 (실환경 스텝당 약 0.58–0.59초)
구조 원문 요약: OpenVLA-7B(LoRA 미세조정)가 RGB·팔 고유감각·언어 지시로 말단 waypoint 예측 → 이중(bi-level) 최적화: 상위는 베이스 waypoint, 하위는 말단 궤적 선택(도달성·평활성·충돌 비용 λ 10.0·1.0·0.6, Dual Annealing + SLSQP) → 팔 관절은 Pinocchio IK; 청크·주파수 미공개

사전학습 가속기: 해당 없음 (공개 OpenVLA-7B 사용)
사전학습 기간: 해당 없음
사전학습 스텝·배치: 해당 없음
GPU·TPU-시간: 미공개
파인튜닝: RTX 3090 4장, LoRA 10K 에폭(시뮬 시연 200 에피소드), 시간·배치 미공개; 실환경은 전문가 에피소드 50개로 미세조정
데이터 종류: 시뮬레이션·합성 / 실로봇 텔레옵†
데이터 규모: 시뮬 pick-and-place 시연 200 에피소드(OVMM 휴리스틱 기준선으로 수집); 실환경 전문가 에피소드 50개
주요 데이터셋: OVMM 시뮬 전문가 궤적(자체 수집)
태스크·평가: OVMM(시뮬 장면 60개) 성공률 15.8%·부분 성공 49.4% (KUZHUM 11.6%·38.2%, UniTeam 9.2%, OVMM RL 1.2%); 실환경 3과제 각 10회: Stack Block 30%, Open Drawer 10%, Put in Bowl 40%
로봇: 시뮬 Hello Robot Stretch(OVMM); 실 hexman echo plus 바퀴형 베이스 + RM65 팔, RealSense T265로 베이스 자세 추적

강화학습: 미사용 · 모방학습(OpenVLA LoRA 미세조정) + 비학습 최적화
베이스 제어: 바퀴형 (계획·최적화로 이동 결정) · 베이스 waypoint를 이중 최적화로 계산해 병진·회전 구동, 고정 베이스용 VLA가 말단 waypoint를 내고 팔은 IK로 추종

핵심 특징: 고정 베이스용 사전학습 VLA가 낸 말단 waypoint를 실현 가능하게 만드는 베이스 waypoint를 이중 최적화로 찾아 VLA를 모바일 매니퓰레이션으로 이전한다. OVMM에서 성공률 15.8%로 기존 최고(11.6%)보다 4.2%p 높았고 실환경 배치에는 전문가 에피소드 50개만 썼다.
비고: 베이스는 학습 정책이 아니라 최적화로 구동(학습 부분은 OpenVLA LoRA 적응). 초록의 '50 training cost'는 본문상 전문가 에피소드 50개이며 프로젝트 페이지는 '50% training cost'로 표기. 실데이터 수집 방식 미기재. 표 2 지연 693.1은 단위 미기재. 코드 'Coming Soon'(2026-10 확인), 가중치 미공개. CVPR 2025. 기반: OpenVLA: An Open-Source Vision-Language-Action Model (arXiv 2406.09246) — 사전학습 OpenVLA-7B를 말단 waypoint 생성기로 사용
검증: 확인