VLA 갤러리 / 모델 목록 / 모바일 매니퓰레이션

QUART-Online

Westlake University(MiLAB)·Zhejiang University·Beijing University of Posts and Telecommunications · 2024-12

VLA모바일 매니퓰레이션8B이산 토큰

연속 행동 청크를 잔차 VQ 코드로 압축하는 ACD로 MLLM이 한 번 추론에 여러 스텝 명령을 내도록 미세조정해 파라미터 축소 없이 지연을 없앤 사족 VLA다.

논문

분류: 모바일 매니퓰레이션
유형: VLA
발표: 2024-12
기관: Westlake University(MiLAB)·Zhejiang University·Beijing University of Posts and Telecommunications
가중치 공개: 예
파라미터: 8B(논문 Table I)/9B(HF 메타데이터)

백본 LLM: Persimmon 디코더 · Fuyu-8B 구성 (README)
비전 인코더: Fuyu-8B 패치 토크나이즈(별도 비전 인코더 없음, README)
액션 헤드: ACD 잔차 VQ 행동 토큰 → 10스텝 명령 청크 디코딩 (이산 토큰)
청크: 10스텝 (-1·-5 변형도 실험)
제어 주기: 유효 50 Hz
구조 원문 요약: Fuyu-8B MLLM(이미지+언어) → ACD 압축 행동 토큰(잔차 VQ, 코드북 512·양자화기 2, 1D conv 인코더) → 10스텝 연속 명령 청크 디코딩(종료·vx·vy·요·몸 높이·주파수·보행 3·발 높이·피치·발 간격), 유효 50 Hz → Walk These Ways 하위 제어기

사전학습 가속기: GPU 4장(README 학습 스크립트; 기종 미기재)
사전학습 기간: 미공개
사전학습 스텝·배치: 100K 스텝 · 배치 256 · 10 에폭(논문)/배치 128 = 32×GPU 4장(README)
GPU·TPU-시간: 미공개
파인튜닝: 해당 없음; ACD RVQ 토크나이저 별도 학습(lr 3e-4; README: 배치 1024·50 에폭), 자원·시간 미공개
데이터 종류: 시뮬레이션·합성
데이터 규모: QUARD 사용(논문에 규모 미기재); 50 Hz 데이터를 5 Hz로 다운샘플(README)
주요 데이터셋: QUARD
태스크·평가: QUARD 시뮬(과제당 50회) 평균 성공률 미지 시각 0.68·미지 언어 0.79 vs QUART 0.37·0.52; 초록 기준 성공률 65% 향상; 실로봇 실험은 그림만, 수치 미보고
로봇: IsaacGym 사족 시뮬(QUARD); 실로봇 기종 미기재

추론 장치·속도: 제어 주파수 = 청크 길이 × MLLM 추론 주파수(Eq. 10), QUART-Online-10 50 Hz(Table II); README: A100 fp16 행동당 약 20 ms, VRAM fp16 >19GB·fp32 >37GB
추론 메모리: >19GB (fp16) / >37GB (fp32), README
가중치 bf16 (계산): 16 GB
실행 위치: GPU 서버 (README 기준 A100)

강화학습: 일부 (RL 하위 제어기 결합) · MLLM·ACD는 지도학습만; 하위 Walk These Ways 제어기(원 논문 PPO, 본 논문에 RL 명시 없음)가 명령 실행
강화학습 근거: https://arxiv.org/abs/2212.03238
베이스 제어: 사족보행 (명령·잠재 → RL 보행 제어기) · VLA가 10스텝 고수준 명령 청크(RVQ 토큰) 출력 → Walk These Ways 제어기가 하위 제어 주기(50 Hz)로 관절 제어

핵심 특징: 연속 행동 청크를 잔차 VQ 코드로 압축하는 ACD로 MLLM이 한 번 추론에 여러 스텝 명령을 내도록 미세조정해 파라미터 축소 없이 지연을 없앤 사족 VLA다. 2 Hz였던 QUART를 하위 제어 주기 50 Hz에 맞추면서 과제 성공률을 65% 높였다.
비고: 파라미터 축소(5.3B·2.7B) 시 성공률 급락(0.74→0.22·0.11)을 보이고 대안으로 ACD 제안; 실로봇 상세 없음; 배치(256 vs 128)·파라미터(8B vs 9B) 출처별 상이; 코드(MIT)·가중치·QUARD 데이터 HF 공개; ICRA 2025(프로젝트 페이지). 기반: QUAR-VLA: Vision-Language-Action Model for Quadruped Robots (arXiv 2312.14457) — 2 Hz QUART를 저지연화한 후속 모델(논문 명시), QUARD 데이터 사용
검증: 확인