VLA 갤러리 / 모델 목록 / 모바일 매니퓰레이션

Learning Visual Quadrupedal Loco-Manipulation from Demonstrations

Shanghai Qi Zhi Institute·HKUST(GZ)·UC Berkeley·Tsinghua University(IIIS) · 2024-03

VA모바일 매니퓰레이션미공개diffusion

앞발 하나로 매개변수화된 베지어 궤적을 추종하며 나머지 세 다리로 보행하는 RL 저수준 제어기와, 점군 기반 DP3 diffusion 플래너가 궤적 파라미터를 내는 계층형 다리 조작 정책이다.

논문

분류: 모바일 매니퓰레이션
유형: VA
발표: 2024-03
기관: Shanghai Qi Zhi Institute·HKUST(GZ)·UC Berkeley·Tsinghua University(IIIS)
가중치 공개: 아니오
파라미터: 미공개

백본 LLM: 없음
비전 인코더: DP3 점군 인코더(768점, 월드 좌표)
액션 헤드: DP3 diffusion → 베지어 궤적 파라미터 (diffusion)
청크: 미공개
제어 주기: 플래너 10 Hz, 저수준 50 Hz
구조 원문 요약: 고수준: DP3(월드 좌표 점군 768점+고유감각) diffusion → 6차 유리 베지어 제어점·가중치, 시작/끝 자세(SLERP), 조작 다리 플래그, 10 Hz / 저수준: PPO 정책(15스텝 고유감각 이력) → 다리 12관절 목표(저역통과+PD) 50 Hz

사전학습 가속기: 해당 없음
사전학습 기간: 해당 없음
사전학습 스텝·배치: 해당 없음
GPU·TPU-시간: 미공개
파인튜닝: 과제별 시뮬 학습(IsaacGym): 저수준 PPO 30억 타임스텝, 고수준 DP3 시각 데이터 2만 타임스텝; GPU·시간 미공개
데이터 종류: 시뮬레이션·합성
데이터 규모: 과제당 시뮬 전문가 궤적 100개(각 200 타임스텝, 약 3분 수집); 저수준 RL 30억 타임스텝
주요 데이터셋: 자체 시뮬 전문가 궤적(IsaacGym)
태스크·평가: 시뮬 9과제(3시드 평균): 버튼 92.3%, 문 밀기 85.3%, 손잡이 당기기 82.3%, 바구니 들기 59.3%, 밸브 돌리기 52.3%, 식기세척기 닫기 50.3%, 축구공 차기 26.0%, 물체 당기기 12.7%, 식기세척기 열기 5.7%; 실로봇은 정성 시연만
로봇: Unitree Aliengo 사족(팔 없음, 앞발로 조작), RealSense D435 깊이 카메라 + 외부 AprilTag 위치추정 카메라

강화학습: 일부 (RL 하위 제어기 결합) · 고수준 DP3 플래너는 BC; 저수준 발끝 궤적 추종·3족 보행 제어기는 IsaacGym PPO(시연도 이 제어기로 시뮬에서 생성)
강화학습 근거: https://arxiv.org/abs/2403.20328
베이스 제어: 사족보행 (명령·잠재 → RL 보행 제어기) · DP3 플래너가 월드 좌표 발끝 궤적 파라미터 출력 → RL 제어기가 3족 보행하며 추종(별도 베이스 속도 명령 없음)

핵심 특징: 앞발 하나로 매개변수화된 베지어 궤적을 추종하며 나머지 세 다리로 보행하는 RL 저수준 제어기와, 점군 기반 DP3 diffusion 플래너가 궤적 파라미터를 내는 계층형 다리 조작 정책이다. 팔 없이 다리만으로 버튼 누르기·문 밀기·이동 중 바구니 들기 등을 시뮬과 실로봇(Aliengo)에서 수행했다.
비고: 시연은 사람 텔레옵이 아니라 설계한 전문가 궤적 파라미터를 RL 제어기가 시뮬에서 추적해 생성; 플래너는 베이스 속도를 직접 내지 않고 월드 좌표 목표(4 m×4 m 범위로 학습)로 이동 유도; 실로봇 정량 결과 없음; 코드·가중치 미공개. 기반: 3D Diffusion Policy: Generalizable Visuomotor Policy Learning via Simple 3D Representations (arXiv 2403.03954) — 고수준 플래너 백본으로 DP3 사용(논문 명시)
검증: 확인