VLA 갤러리 / 모델 목록 / VA

DP3

Shanghai Qi Zhi Institute; Shanghai Jiao Tong University; Tsinghua University(IIIS); Shanghai AI Lab · 2024-03

VAVA미공개diffusion

희소 점군을 작은 MLP로 인코딩해 과제당 10데모 수준으로 학습하는 3D 확산 정책이다.

논문

3D Diffusion PolicyarXiv 2403.03954

개요

분류

VA

유형

VA

발표

2024-03

기관

Shanghai Qi Zhi Institute; Shanghai Jiao Tong University; Tsinghua University(IIIS); Shanghai AI Lab

가중치 공개

아니오

파라미터

미공개

구조

백본 LLM

없음

비전 인코더

점군 MLP 인코더 (64차원)

액션 헤드

CNN 확산 정책 (DDIM 10스텝) (diffusion)

청크

4스텝 (실행 3)

제어 주기

미공개

구조 원문 요약

점군 MLP 인코더(3층, 채널 3·64·128·256, max-pool, 64차원 투영) + CNN 기반 확산 정책; 지평 H 4, 관측 2·실행 3스텝; DDIM 학습 100·추론 10스텝; 점 512–1,024개

학습

사전학습 가속기

해당 없음

사전학습 기간

해당 없음

사전학습 스텝·배치

해당 없음

GPU·TPU-시간

미공개

파인튜닝

과제별: 논문은 GPU·시간 미공개(MetaWorld 1000 에폭, 기타 3000 에폭, 배치 128); README: A40 1장 약 3시간·GPU 메모리 약 10G, Simple DP3 1–2시간

데이터 종류

시뮬레이션·합성; 실로봇 텔레옵

데이터 규모

시뮬 대부분 과제당 10데모(DexArt·HORA 100); 실제 과제당 40데모

주요 데이터셋

Adroit; Bi-DexHands; DexArt; DexDeform; DexMV; HORA; MetaWorld; 자체 실제 데이터

태스크·평가

시뮬 7개 도메인 72과제(Adroit, Bi-DexHands, DexArt, DexDeform, DexMV, HORA, MetaWorld); 실제 Roll-Up, Dumpling, Drill, Pour

로봇

Franka 팔 + Allegro 손·그리퍼, RealSense L515

추론

추론 장치·속도

DP3 12.7 FPS, DP 12.3 FPS, Simple DP3 25.3 FPS(하드웨어 미기재)

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 모방학습(행동 복제)만 사용

베이스 제어

고정 · 베이스 제어 없음 (Franka 팔 + 손·그리퍼)

비고

핵심 특징

희소 점군을 작은 MLP로 인코딩해 과제당 10데모 수준으로 학습하는 3D 확산 정책이다. 7개 도메인 72개 시뮬 과제와 손재주 손 실제 과제를 다룬다.

비고

A40 학습 시간은 논문이 아닌 공식 README 값. 코드·실제 데이터 공개, 체크포인트 없음.

검증

확인