VLA 갤러리 / 모델 목록 / 참고 기준(2024 이전)

Diffusion Policy (Transformer)

Columbia University; Toyota Research Institute; MIT; Stanford University · 2023-03

VA참고 기준(2024 이전)디노이저 9Mdiffusion

CNN 변형과 같은 확산 정책을 트랜스포머 디노이저로 구현한 변형이다.

논문

Diffusion Policy: Visuomotor Policy Learning via Action DiffusionarXiv 2303.04137

개요

분류

참고 기준(2024 이전)

유형

VA

발표

2023-03

기관

Columbia University; Toyota Research Institute; MIT; Stanford University

가중치 공개

예

파라미터

디노이저 9M(시뮬, Block Push 포함)·80M(Kitchen, 실제 Push-T) + 비전 인코더 22M(Transport 45M, Block Push 0)

구조

백본 LLM

없음

비전 인코더

ResNet-18

액션 헤드

minGPT형 확산 트랜스포머 (8층) (diffusion)

청크

예측 16 · 실행 8

제어 주기

10 Hz

구조 원문 요약

ResNet-18(사전학습 없음) + minGPT형 시계열 확산 트랜스포머(보통 8층, 임베딩 256 또는 768; 관측 cross-attention, causal attention); 행동열 Tp 16·Ta 8, 실제 10 Hz

학습

사전학습 가속기

해당 없음

사전학습 기간

해당 없음

사전학습 스텝·배치

해당 없음

GPU·TPU-시간

미공개

파인튜닝

과제별: 학습 GPU 미공개; CNN 변형과 같은 에폭 예산(이미지 3000·상태 4500), warmup 1000; 실제 Push-T 고정 12시간; (2차) CARP 논문 재측정 V100 10.83 GPU-시간(상태 기반 Square)

데이터 종류

시뮬레이션·합성; 실로봇 텔레옵

데이터 규모

시뮬레이션은 CNN 변형과 같음; 실제 Push-T 136데모

주요 데이터셋

Robomimic; Push-T; Block Push; Franka Kitchen; 자체 실제 Push-T

태스크·평가

CNN 변형과 같은 시뮬 세트; 실제 Push-T

로봇

UR5(실제 Push-T)

추론

추론 장치·속도

논문: DDIM 10스텝으로 0.1초(RTX 3080, 변형 구분 없음); (2차) VQ-BeT 논문 실로봇 측정 DP-T 573.49 ms(RTX A4000)·5,243.82 ms(CPU)

추론 메모리

미공개

가중치 bf16 (계산)

0.2 GB

실행 위치

로컬 PC

강화학습 · 베이스

강화학습

미사용 · 모방학습(확산 행동 복제)

베이스 제어

고정 · 베이스 제어 없음 (UR5 팔)

비고

핵심 특징

CNN 변형과 같은 확산 정책을 트랜스포머 디노이저로 구현한 변형이다. 시뮬 디노이저가 9M으로 CNN 변형(256M)보다 작다.

비고

파라미터(B)는 실제 Push-T 설정 #D 80M + #V 22M 합산(논문은 별도 표기). 시뮬 체크포인트는 학습 로그 폴더에 공개. 소속에 Stanford 추가(수정 반영).

검증

수정 반영