VLA 갤러리 / 모델 목록 / 휴머노이드 전신 제어기

iDP3

iDP3 (Improved 3D Diffusion Policy)

Stanford·SFU·UPenn·UIUC·CMU · 2024-10

VA휴머노이드 전신 제어기미공개diffusion

1인칭 3D 포인트 클라우드 확산 정책으로 휴머노이드 상체 조작을 온보드 연산만으로 15 Hz에 수행한다.

논문

Generalizable Humanoid Manipulation with Improved 3D Diffusion PoliciesarXiv 2410.10803

개요

분류

휴머노이드 전신 제어기

유형

VA

발표

2024-10

기관

Stanford·SFU·UPenn·UIUC·CMU

가중치 공개

예

파라미터

미공개

구조

백본 LLM

없음

비전 인코더

피라미드 합성곱 점군 인코더

액션 헤드

확산 정책 (DDIM 10스텝) (diffusion)

청크

16스텝

제어 주기

15 Hz

구조 원문 요약

피라미드 합성곱 인코더 + 확산 정책(DDIM 학습 50스텝·추론 10스텝), 예측 호라이즌 16; 1인칭 3D 포인트 클라우드(RealSense L515, 추론 시 4096점) + 고유감각 → 목표 관절 위치, 15 Hz

학습

사전학습 가속기

RTX 4090 × 1 (README)

사전학습 기간

미공개

사전학습 스텝·배치

300 에폭 (AdamW)

GPU·TPU-시간

미공개

파인튜닝

해당 없음

데이터 종류

실로봇 텔레옵

데이터 규모

태스크당 시연 10개 × 롤아웃 10회, 3태스크 총 300 에피소드(시연당 성공 20회); 단일 학습 장면

주요 데이터셋

Apple Vision Pro 상체 원격조작 데이터(자체)

태스크·평가

학습 장면 Pick&Place 9/10, Pour 9/10, Wipe 10/10; 새 물체·시점·장면 9/10; 실세계 평가 2000회 이상(Table I 2253 에피소드)

로봇

Fourier GR1(높이 조절 카트 위 25-DoF 상체)

추론

추론 장치·속도

온보드 로봇 연산만으로 실시간 15 Hz

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

온보드

강화학습 · 베이스

강화학습

미사용 · 모방학습(행동 복제)만 사용

베이스 제어

고정 · 하체 비활성화, 이동은 카트로 대체 (정책은 상체 25 DoF 관절 목표만 출력)

비고

핵심 특징

1인칭 3D 포인트 클라우드 확산 정책으로 휴머노이드 상체 조작을 온보드 연산만으로 15 Hz에 수행한다. 사람 데이터에서 합성곱 층이 더 부드러운 행동을 낸다는 근거로 피라미드 합성곱 인코더를 쓴다.

비고

확산 백본을 트랜스포머로 서술한 문장이 없어 합성곱 인코더 근거로 비트랜스포머 분류. 2024-11-04 데이터·3태스크 체크포인트 공개(README). 검증은 README 값(학습 GPU·공개일)만 대상.

검증

확인