VLA 갤러리 / 모델 목록 / 모바일 매니퓰레이션

UMI on Legs

Stanford University·Columbia University·Google DeepMind · 2024-07

VA모바일 매니퓰레이션미공개diffusion

UMI 핸드헬드 시연으로 학습한 diffusion 조작 정책이 태스크 좌표 말단 궤적을 내면, 시뮬 RL로 학습한 조작 중심 전신 제어기(WBC)가 이를 추종해 사족+팔로 실행한다.

논문

백본 LLM: 없음
비전 인코더: CLIP 비전 인코더(사전학습, 변형 미기재; 손목 GoPro)
액션 헤드: 말단 자세 궤적 diffusion(위치 3+6D 회전, 최대 64스텝) → RL WBC (diffusion)
청크: 64스텝(던지기)·32(밀기)·16(컵), 실행 40·10·8
제어 주기: 정책 5–12 Hz, WBC 50 Hz
구조 원문 요약: Diffusion Policy(U-Net·DDIM, 사전학습 CLIP 비전 인코더) → 카메라 좌표 말단 자세 궤적(3D 위치+6D 회전) 64스텝(던지기)·32(밀기)·16(컵), 5–12 Hz 실행 → 태스크 좌표 변환 → RL MLP WBC가 다리 12·팔 6관절 위치 목표 50 Hz

사전학습 가속기: 해당 없음
사전학습 기간: 해당 없음
사전학습 스텝·배치: 해당 없음
GPU·TPU-시간: 미공개
파인튜닝: 과제별 학습: WBC는 시뮬 RL(legged_gym PPO·IsaacGym, 시뮬 비교 실험 4000 iter), 조작 DP는 과제별 BC(던지기 500·밀기 25 궤적; 컵은 UMI 공개 체크포인트 재사용); GPU·시간 미공개
데이터 종류: 사람 영상 / 시뮬레이션·합성
데이터 규모: UMI 핸드헬드 시연 던지기 500·밀기 25 궤적; 컵 재배치는 UMI 데이터 1,400 궤적으로 학습된 공개 체크포인트; WBC는 시뮬에서 UMI 말단 궤적 추적 학습
주요 데이터셋: UMI 시연(던지기·밀기 자체 수집; 컵 재배치 UMI 공개 데이터)
태스크·평가: 실로봇 과제당 20회: 동적 던지기 75%(모캡)/70%(iPhone), 전신 밀기(10 lb 케틀벨) 95%/90%, 컵 재배치 85%/80%(UMI 정책 무수정 이식)
로봇: Unitree Go2 사족(12-DoF) + ARX5 6-DoF 팔(Finray 그리퍼·GoPro); 위치추정은 모캡 또는 iPhone 15 Pro ARKit

추론 장치·속도: DP: 원격 데스크톱 RTX 4090(인터넷 연결), 과제별 5–12 Hz 실행(1–5 Hz 저주파 정책 설계); WBC: Go2 온보드 CPU에서 MLP 순전파 약 0.06 ms, 50 Hz
추론 메모리: 미공개
가중치 bf16 (계산): 미공개
실행 위치: 원격 RTX 4090(정책) + Go2 온보드(WBC)

강화학습: 일부 (RL 하위 제어기 결합) · 조작 정책은 BC(diffusion)만; 다리+팔 WBC만 시뮬 RL(legged_gym PPO)로 말단 궤적 추적 학습
강화학습 근거: https://arxiv.org/abs/2407.10353
베이스 제어: 사족보행 (명령·잠재 → RL 보행 제어기) · 정책이 태스크 좌표 말단 궤적 출력 → RL WBC가 다리·팔 관절 목표 생성(베이스 이동은 WBC가 결정)

핵심 특징: UMI 핸드헬드 시연으로 학습한 diffusion 조작 정책이 태스크 좌표 말단 궤적을 내면, 시뮬 RL로 학습한 조작 중심 전신 제어기(WBC)가 이를 추종해 사족+팔로 실행한다. 고정 팔용 UMI 공개 정책을 수정 없이 사족에 이식했고 던지기·밀기·컵 재배치 모두 실로봇 70% 이상 성공했다.
비고: WBC의 GPU·병렬 환경 수·학습 시간은 논문 미기재(README: legged_gym PPO·IsaacGym 기반); CLIP 인코더 변형 미기재(UMI 원 논문 컵 정책은 ViT-B/16); 코드·WBC 체크포인트·궤적 데이터 공개, 던지기·밀기 DP 체크포인트 공개는 미확인; CoRL 2024. 기반: Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots (arXiv 2402.10329) — UMI 시연 데이터·정책·코드를 사족 플랫폼으로 확장(논문·README 명시)
검증: 확인