VLA 갤러리 / 모델 목록 / 모바일 매니퓰레이션

QUAR-VLA (QUART)

Westlake University·Zhejiang University · 2023-12

VLA모바일 매니퓰레이션8B이산 토큰

단일 RGB와 언어 지시로 사족 고수준 명령(속도·보행·자세)을 이산 토큰으로 내는 사족 VLA 과제 정의와 QUART 모델, 시뮬·실로봇 QUARD 데이터셋을 제안했다.

논문

백본 LLM: Fuyu-8B (디코더 전용 VLM; LLM 별도 명시 없음)
비전 인코더: Fuyu-8B 이미지 패치 직접 입력(별도 비전 인코더 없음)
액션 헤드: 256구간 이산 토큰 (11차원 명령+종료) (이산 토큰)
청크: 없음 (1스텝)
제어 주기: 2 Hz
구조 원문 요약: Fuyu-8B VLM(단일 RGB+언어) → 256구간 이산 토큰: 11차원 고수준 명령(vx·vy·ωz, 보행 위상 3, 주파수, 몸 높이, 피치, 발 간격, 발 높이)+종료, 청크 없음, 2 Hz → Walk These Ways 명령 추종 제어기가 관절 생성

사전학습 가속기: 미공개
사전학습 기간: 미공개
사전학습 스텝·배치: 100K 스텝 · 배치 256 (lr 2e-5)
GPU·TPU-시간: 미공개
파인튜닝: 해당 없음 (QUARD 시뮬·실데이터 공동학습 단일 단계)
데이터 종류: 시뮬레이션·합성 / 실로봇 텔레옵
데이터 규모: QUARD 합계 259K 에피소드(표 합계·Fig. 2 표기; 표 행 합산은 시뮬 246K+실 3K=249K), 실로봇 3K(Go to Object, 원격 조종); v1은 시뮬 348K
주요 데이터셋: QUARD
태스크·평가: QUARD 시뮬 성공률: Distinguish 0.66, Go to 0.60, Go avoid 0.53, Go through 0.41, Crawl 0.32, Unload 0.12, 미지 물체 0.35·미지 언어 0.33; 실로봇 Go to 13/20(시뮬 256K+실 3K) vs 3/20(실 3K만); 총 4,000회 평가
로봇: WR-2 사족(12관절, 논문 표기) + 전면 RealSense D435; 시뮬 IsaacGym

강화학습: 일부 (RL 하위 제어기 결합) · QUART는 지도 미세조정(100K 스텝)만; 하위 명령 추종은 Walk These Ways 정책(원 논문 PPO, 본 논문에 RL 명시 없음)
강화학습 근거: https://arxiv.org/abs/2212.03238
베이스 제어: 사족보행 (명령·잠재 → RL 보행 제어기) · VLA가 11차원 고수준 명령 토큰 출력 → Walk These Ways 명령 추종 제어기가 관절 제어

핵심 특징: 단일 RGB와 언어 지시로 사족 고수준 명령(속도·보행·자세)을 이산 토큰으로 내는 사족 VLA 과제 정의와 QUART 모델, 시뮬·실로봇 QUARD 데이터셋을 제안했다. 4,000회 평가로 대규모 시뮬 데이터와 소량 실데이터 공동학습이 실로봇 Go to 성공을 3/20에서 13/20으로 높임을 보였다.
비고: 시뮬 데이터는 A*/D* 경로+PD 속도 변환 스크립트로 생성, 실데이터는 원격 조종; 하위 제어기 [23]=Walk These Ways(본 논문은 RL 명시 없음, 원 논문 PPO); 학습 GPU·시간 미기재; LLaVA-7B 변형도 비교(성능 유사); v1→v6 모델 구성·데이터 수치 변경; 가중치 미공개(QUARD는 QUART-Online 페이지에서 HF 공개).
검증: 확인