VLA 갤러리 / 모델 목록 / VA

CARP

Westlake University; Zhejiang University; Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing · 2024-12†

VAVA상태 기반 0.65M이산 토큰

행동열을 다중 스케일 토큰으로 바꿔 거친 것부터 세밀한 것으로 자기회귀 예측한다.

논문

CARP: Visuomotor Policy Learning via Coarse-to-Fine Autoregressive PredictionarXiv 2412.06782

개요

분류

VA

유형

VA

발표

2024-12†

기관

Westlake University; Zhejiang University; Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing

가중치 공개

예

파라미터

상태 기반 0.65M(DP-C 65.88M, DP-T 8.97M); 이미지 7.58M; Kitchen 3.88M; 멀티태스크 16.08M

구조

백본 LLM

없음

비전 인코더

미기재

액션 헤드

다중 스케일 VQ 토큰 (coarse-to-fine) (이산 토큰)

청크

16스텝

제어 주기

미공개

구조 원문 요약

다중 스케일 행동 VQ-VAE 토크나이저(행동 차원별 1개, K=4 스케일, 16스텝 지평) + GPT형 트랜스포머가 거친 스케일부터 세밀한 스케일로 이산 토큰 예측(교차 엔트로피)

학습

사전학습 가속기

해당 없음

사전학습 기간

해당 없음

사전학습 스텝·배치

해당 없음

GPU·TPU-시간

미공개

파인튜닝

멀티태스크: A100 1장, 배치 512, 200 에폭; Square 학습 비용(V100): 토크나이저 4.67 GPU-시간(28분×10) + 정책 13.85 GPU-시간

데이터 종류

시뮬레이션·합성; 실로봇 텔레옵

데이터 규모

Robomimic 과제당 200데모; MimicGen 과제당 1K 궤적; 실제 과제당 50데모

주요 데이터셋

Robomimic; Franka Kitchen; Push-T; MimicGen

태스크·평가

Robomimic Lift·Can·Square(상태·이미지), Kitchen, Push-T; MimicGen 8과제(멀티태스크); 실제 UR5e 컵·그릇 2과제

로봇

UR5e 단일 팔; 시뮬레이션

추론

추론 장치·속도

A100에서 행동 예측 400회 평균으로 측정, 실제는 RTX 2060; DP 대비 10배 이상 빠름

추론 메모리

미공개

가중치 bf16 (계산)

0 GB

실행 위치

로컬 PC

강화학습 · 베이스

강화학습

미사용 · 모방학습(행동 복제)만 사용

베이스 제어

고정 · 베이스 제어 없음 (UR5e 단일 팔·시뮬)

비고

핵심 특징

행동열을 다중 스케일 토큰으로 바꿔 거친 것부터 세밀한 것으로 자기회귀 예측한다. 확산 정책보다 10배 이상 빠른 추론을 보고했다.

비고

파라미터(B)는 최대 멀티태스크 16.08M. 비교 파라미터: 이미지 DP-C 255.61M·DP-T 9.01M, Kitchen DP-C 66.94M·DP-T 80.42M, 멀티태스크 TCD 156.11M·SDP 159.85M(수정 반영). 같은 V100 측정에서 DP-C 12.17·DP-T 10.83 GPU-시간. 과제 지정은 학습형 3차원 임베딩(언어 없음). 발표월 v1 확인불가(†).

검증

수정 반영