VLA 갤러리 / 모델 목록 / 모바일 매니퓰레이션

TidyBot++

TidyBot++ (diffusion policy)

Princeton University·Stanford University·Dexterity · 2024-11

VA모바일 매니퓰레이션미공개diffusion

전방향(holonomic) 파워드 캐스터 베이스와 휴대폰 텔레옵 시연으로 과제별 Diffusion Policy를 학습해 베이스 목표 자세와 팔 말단 목표를 함께 출력한다.

논문

백본 LLM: 없음
비전 인코더: robomimic CNN 인코더(ResNet-18†) · 베이스·손목 카메라 84×84
액션 헤드: DDIM diffusion 헤드 (학습 100·추론 16스텝) (diffusion)
청크: horizon 16 중 8스텝 실행
제어 주기: 10 Hz
구조 원문 요약: Diffusion Policy(U-Net hybrid image, 공식 코드 설정): robomimic CNN 인코더(ResNet-18†)로 베이스·손목 카메라 84×84 + 베이스 자세·팔 상태 인코딩 → 1D 시간축 U-Net, DDIM(학습 100·추론 16스텝); 행동 13차원 절대 목표(베이스 x·y·θ + 팔 말단 위치·6D 회전 + 그리퍼), horizon 16·실행 8스텝, 10 Hz

사전학습 가속기: 해당 없음
사전학습 기간: 해당 없음
사전학습 스텝·배치: 해당 없음
GPU·TPU-시간: 미공개
파인튜닝: 과제별 처음부터 학습: GPU 노트북(README: 학습·추론 담당), 500 에폭(코드 기본 배치 64), 학습 시간 미공개
데이터 종류: 실로봇 텔레옵
데이터 규모: 6과제: open fridge 100회·나머지 5과제 각 50회(총 350회); 50회 수집에 1–2시간(리셋 포함)
주요 데이터셋: 자체 휴대폰 텔레옵 시연(실제 아파트)
태스크·평가: 실제 아파트 6과제 각 10회: open fridge 10/10, wipe countertop 9/10, load dishwasher 7/10, take out trash 10/10, load laundry 7/10, water plant 6/10; 차동구동 제약 정책 wipe countertop 4/10
로봇: TidyBot++: 파워드 캐스터 전방향 바퀴형 베이스(베이스 $5–6k) + Kinova Gen3 7-DoF 팔, Intel NUC 미니 PC

추론 장치·속도: GPU 노트북 추론 115 ms(RTX 4080 Laptop, README), 다음 청크를 200 ms 앞서 계산해 지연 은닉; 정책 10 Hz; 실시간 제어는 온보드 Intel NUC
추론 메모리: 미공개
가중치 bf16 (계산): 미공개
실행 위치: GPU 노트북(RTX 4080 Laptop) 추론 + 온보드 Intel NUC 제어

강화학습: 미사용 · 모방학습만(과제별 Diffusion Policy)
베이스 제어: 바퀴형 (베이스 속도·자세 직접 출력) · 정책이 베이스 목표 자세(x·y·θ)를 팔 목표와 함께 출력 → 전방향 베이스 저수준 제어기가 추종

핵심 특징: 전방향(holonomic) 파워드 캐스터 베이스와 휴대폰 텔레옵 시연으로 과제별 Diffusion Policy를 학습해 베이스 목표 자세와 팔 말단 목표를 함께 출력한다. 실제 아파트 6과제에서 6/10~10/10을 성공했고, 같은 조건의 차동구동 제약 정책은 걸레질 과제에서 4/10(전방향 9/10)에 그쳤다.
비고: 논문은 정책을 'diffusion policy'로만 기술하며 구조·주파수·지연은 공식 GitHub 코드·README 기준. 하드웨어 설계·텔레옵·학습·제어 코드 오픈소스; 가중치는 시뮬 sim-v1 정책 체크포인트만 공개(실과제 정책 미공개). 모델 크기·학습 GPU 기종·시간 미공개. 기반: Diffusion Policy: Visuomotor Policy Learning via Action Diffusion (arXiv 2303.04137) — 논문·README가 정책 학습에 Diffusion Policy(real-stanford/diffusion_policy 코드)를 그대로 사용
검증: 수정 반영