MoRE — 구조·백본 LLM·학습·추론 메모리

VLA 갤러리 / 모델 목록 / 모바일 매니퓰레이션

Zhejiang University·Westlake University(MiLAB)·Monash University·HKUST(GZ) · 2025-03

VLA모바일 매니퓰레이션9.82B이산 토큰

Fuyu-8B에 다수 LoRA 전문가를 희소 MoE로 넣고 VLA를 Q-함수로 보아 성공·실패가 섞인 자동 수집 데이터로 오프라인 RL 학습한 사족 VLA다.

논문

분류: 모바일 매니퓰레이션
유형: VLA
발표: 2025-03
기관: Zhejiang University·Westlake University(MiLAB)·Monash University·HKUST(GZ)
가중치 공개: 아니오
파라미터: 9.82B (Fuyu-8B + MoE-LoRA)

백본 LLM: Fuyu-8B + MoE-LoRA 전문가
비전 인코더: Fuyu-8B 패치 입력(별도 비전 인코더 없음)
액션 헤드: 자기회귀 이산 토큰(이산 Q-함수) → 12차원 명령 (이산 토큰)
청크: 미공개
제어 주기: 미공개
구조 원문 요약: Fuyu-8B(32층) 각 층 FFN을 공유 FFN+LoRA 전문가 MoE(Top-K 라우터)로, 어텐션에 LoRA → 자기회귀 이산 행동 토큰(이산 Q-함수) → 12차원 이산 명령 → Walk These Ways RL 제어기

사전학습 가속기: A100 8장
사전학습 기간: 약 100시간(전문가 데이터) / 약 125시간(혼합 품질 데이터)
사전학습 스텝·배치: 3 에폭 · GPU당 배치 16
GPU·TPU-시간: 800 (환산 · A100 8장 × 100시간 (전문가 데이터 학습; 125시간 혼합 품질 런은 GPU 수 재기술 없음))
파인튜닝: 실로봇 소량 데이터 추가 파인튜닝(데이터 규모·자원·시간 미공개)
데이터 종류: 시뮬레이션·합성
데이터 규모: QUARD 전문가 1,822,405 VLA 세트(6과제) + QUARD-Auto 440,732 세트(실패 데이터, 4과제) + 실로봇 소량(규모 미기재)
주요 데이터셋: QUARD; QUARD-Auto
태스크·평가: QUARD 6개 스킬 시뮬 평균 0.60(QUART 0.44): Distinguish 0.82, Go to 0.80, Go avoid 0.59, Go through 0.57, Crawl 0.49, Unload 0.33; 실로봇은 정성 결과(go to the computer 등)만
로봇: Unitree Go2 사족(12관절) + 전면 RealSense D435; 시뮬 IsaacGym

강화학습: 사용 (VLA RL 사후학습) · Fuyu-8B 기반 VLA(LoRA 전문가)를 이산 Q-함수로 오프라인 RL 학습(벨만 업데이트·보수적 항·성공 시 1 희소 보상); 하위는 Walk These Ways RL 정책
강화학습 근거: https://arxiv.org/abs/2503.08007
베이스 제어: 사족보행 (명령·잠재 → RL 보행 제어기) · VLA가 12차원 이산 명령 토큰 출력 → Walk These Ways RL 정책이 관절 제어

핵심 특징: Fuyu-8B에 다수 LoRA 전문가를 희소 MoE로 넣고 VLA를 Q-함수로 보아 성공·실패가 섞인 자동 수집 데이터로 오프라인 RL 학습한 사족 VLA다. 6개 스킬 시뮬 평균 성공률 0.60으로 QUART(0.44) 등 기준선을 앞섰고 실패 데이터 추가가 RL을 통해 성능을 높였다.
비고: 전문가 수·LoRA rank·Top-K 값 미기재; '백본 동결·LoRA만 학습' 서술과 FFN→MoE 전환 서술 혼재; 희소 보상(성공 시 1)+보수적 정규화(α=0.5); 추론 속도 미기재; 코드·가중치 공개 링크 없음. 기반: GeRM: A Generalist Robotic Model with Mixture-of-experts for Quadruped Robot (arXiv 2403.13358) — GeRM의 Q-함수 학습 손실과 QUARD-Auto 데이터를 그대로 활용(같은 그룹 사족 MoE 모델)
검증: 확인