VLA 갤러리 / 모델 목록 / 모바일 매니퓰레이션

RoboDuet

Tsinghua University·Shanghai Qi Zhi Institute·Shanghai AI Laboratory·UC San Diego·Jianghuai Advance Technology Center · 2024-03

기타모바일 매니퓰레이션미공개RL 정책

보행 정책과 팔 정책 두 RL 정책이 협력하며(팔 정책이 몸체 피치·롤을 지시) 사족+팔의 베이스 이동과 말단 6D 자세 추종을 동시에 수행하는 2단계 학습 전신 제어 프레임워크다.

논문

분류: 모바일 매니퓰레이션
유형: 기타
발표: 2024-03
기관: Tsinghua University·Shanghai Qi Zhi Institute·Shanghai AI Laboratory·UC San Diego·Jianghuai Advance Technology Center
가중치 공개: 아니오
파라미터: 미공개

백본 LLM: 없음
비전 인코더: —
액션 헤드: 다리 12·팔 6관절 목표 + 몸체 피치·롤 지시 (RL 정책)
청크: 없음 (1스텝)
제어 주기: 50 Hz
구조 원문 요약: 보행·팔 2개 MLP(512·256·128, ELU) PPO 정책; 보행 정책 → 다리 12관절 목표, 팔 정책 → 팔 6관절 오프셋 + 몸체 피치·롤 지시 2, 50 Hz; 입력은 고유감각 + 속도 명령 + 말단 9차원 목표

사전학습 가속기: 해당 없음
사전학습 기간: 해당 없음
사전학습 스텝·배치: 해당 없음
GPU·TPU-시간: 미공개
파인튜닝: 시뮬 RL(IsaacGym, PPO 비대칭 actor-critic): 4,096 병렬 에이전트, 1단계 10k + 2단계 40k iter(3 시드), RTX 4090; 학습 시간 미공개
데이터 종류: 시뮬레이션·합성
데이터 규모: 시뮬 4,096 병렬 에이전트 RL 롤아웃, 총 50k iter
주요 데이터셋: 없음(시뮬 RL)
태스크·평가: 실로봇 물체 운반(높이 0·20·60·100 cm) 성공 39/60(AFB+ID 32/60, FB+IK 10/60), 성공률 23% 향상(논문 표기); 극단 6D 자세 자기충돌률 5%(FB+IK 50%); 시뮬 Go1·Go2·A1+ARX5 교차 이식
로봇: Unitree Go1 Edu + ARX5 6-DoF 팔(평행 그리퍼, 그리퍼 위 RealSense D435i); Go2+ARX5 무학습 이식

추론 장치·속도: 정책 50 Hz; Go2 배포 코드는 Jetson Orin 또는 PC에서 실행(README), Go1은 Docker 배포
추론 메모리: 미공개
가중치 bf16 (계산): 미공개
실행 위치: 온보드 (Go2는 Jetson Orin 또는 PC, README)

강화학습: 사용 (RL 제어기 학습) · 보행·팔 협력 정책 전체를 IsaacGym PPO(비대칭 actor-critic, 2단계)로 학습; 상위 정책 없음(텔레옵 명령)
강화학습 근거: https://arxiv.org/abs/2403.17367
베이스 제어: 사족보행 (RL 정책이 직접 구동) · 텔레옵 베이스 속도·말단 자세 명령 → 협력 RL 정책(보행·팔)이 다리·팔 관절 목표 직접 출력

핵심 특징: 보행 정책과 팔 정책 두 RL 정책이 협력하며(팔 정책이 몸체 피치·롤을 지시) 사족+팔의 베이스 이동과 말단 6D 자세 추종을 동시에 수행하는 2단계 학습 전신 제어 프레임워크다. 기준선 대비 23% 높은 과제 성공률과 Go1에서 Go2로의 무학습 교차 엠바디먼트 이식을 보였다.
비고: 시각 입력 없는 고유감각 RL 제어기로, 실험의 베이스 속도·말단 자세는 VR 텔레옵(Meta Quest 3)이 지시(상위 학습 정책 없음); 23%는 39/60 vs 32/60과 계산 근거 불명확; 논문 소속 표기는 'University of San Diego'(프로젝트 페이지는 UC San Diego); 코드(Walk These Ways 기반)·배포 코드 공개, 가중치 미공개; RA-L 2025. 기반: Walk These Ways: Tuning Robot Control for Generalization with Multiplicity of Behavior (arXiv 2212.03238) — README에 기본 구현을 walk-these-ways에서 차용했다고 명시
검증: 확인