VQ-BeT

New York University; Seoul National University · 2024-03

VAVA미공개이산 토큰

연속 행동을 계층적 잔차 VQ 코드로 바꿔 반복 디노이징 없이 한 번에 예측한다.

논문

백본 LLM: 없음
비전 인코더: ResNet18 (동결)
액션 헤드: 잔차 VQ 행동 코드 + 오프셋 (이산 토큰)
청크: 미공개
제어 주기: 미공개
구조 원문 요약: minGPT(6층·6헤드·120차원; BlockPush는 4·4·72) + 2층 잔차 VQ 행동 코드(VQ-VAE 잠재 512, BlockPush 256; 코드북 8–16) + 오프셋, 단일 패스 디코딩; 이미지 과제는 동결 ResNet18 임베딩

사전학습 가속기: 해당 없음
사전학습 기간: 해당 없음
사전학습 스텝·배치: 해당 없음
GPU·TPU-시간: 미공개
파인튜닝: 과제별: GPU·시간·배치 미공개; 에폭 Kitchen 1000, Ant 300, BlockPush 1500, UR3 300, PushT 2000, NuScenes 1000, 실제 600; 2단계 학습(잔차 VQ 토크나이저 → 트랜스포머)
데이터 종류: 시뮬레이션·합성; 실로봇 데모(수집 방식 노트 미기재); 기타(nuScenes 주행)
데이터 규모: PushT 206, Kitchen 566, BlockPush 1,000 궤적, nuScenes 684 장면; 실제 과제당 45데모(80% 학습)
주요 데이터셋: Push-T; Franka Kitchen; BlockPush; UR3 BlockPush; Multimodal Ant; nuScenes
태스크·평가: PushT, Image PushT, Kitchen, Image Kitchen, UR3 BlockPush, BlockPush, Multimodal Ant, nuScenes; 실제 Stretch 단일 단계 5·다단계 3·장기 4과제
로봇: Hello Robot Stretch(실제); 시뮬레이션; nuScenes 주행

추론 장치·속도: 실로봇: VQ-BeT 18.06 ms(RTX A4000)·207.25 ms(4코어 CPU) vs DP-T 573.49·5,243.82 ms
추론 메모리: 미공개
가중치 bf16 (계산): 미공개
실행 위치: 로컬 PC

핵심 특징: 연속 행동을 계층적 잔차 VQ 코드로 바꿔 반복 디노이징 없이 한 번에 예측한다. 실로봇 추론이 확산 정책보다 25배(시뮬 5배) 빠르다고 보고했다.
비고: 실제 실험은 Stretch 모바일 매니퓰레이터. 선택적 목표 조건, 언어 없음. Table 13 BlockPush 열 구조값 수정 반영. README는 목표 조건 Kitchen 가중치만 제공. ICML 2024.
검증: 수정 반영