VLA 갤러리 / 모델 목록 / 모바일 매니퓰레이션

Helpful DoggyBot

Stanford University·UC San Diego · 2024-09

기타모바일 매니퓰레이션미공개RL 정책

전면 하단 1-DoF 그리퍼를 단 Go2에 시뮬 RL로 학습한 1인칭 깊이 기반 민첩 제어기와 사전학습 VLM 인식·비례 제어를 결합한 모듈형 실내 물체 가져오기 시스템이다.

논문

백본 LLM: 없음
비전 인코더: 깊이 CNN+GRU(제어기) · Florence-2·SAM2 · GroundingDINO·MobileSAM·Cutie(인식)
액션 헤드: RL 정책 관절 목표 → Unitree PD (RL 정책)
청크: 없음 (1스텝)
제어 주기: 50 Hz (깊이 10 Hz)
구조 원문 요약: 학습 제어기: 깊이 CNN+GRU 추정기(ROA 증류) + RL 정책 → 관절 목표(PD 게인과 함께 전송) 50 Hz, 깊이 인코더 10 Hz; 명령 = 선속도·각속도·피치; 상위는 Florence-2·SAM2(천장 카메라)·GroundingDINO·MobileSAM·Cutie 인식 + 비례 제어

사전학습 가속기: 해당 없음
사전학습 기간: 해당 없음
사전학습 스텝·배치: 해당 없음
GPU·TPU-시간: 미공개
파인튜닝: 시뮬 RL(IsaacGym Preview 4): 특권(oracle) 정책 6,144 로봇·400 지형 20k iter 10시간(RTX 4090 1장), 깊이 증류 384 로봇 5k iter 6시간; VLM은 사전학습 모델 그대로 사용
데이터 종류: 시뮬레이션·합성
데이터 규모: 시뮬 RL 롤아웃(6,144·384 병렬 로봇); 실데이터 없음
주요 데이터셋: 없음(시뮬 지형 400개)
태스크·평가: 실환경 미학습 2곳 첫 시도 성공률(각 10회): 침대+장난감 60%, 소파+병 60%, 바닥+공 70%; 시뮬 지표 200회 평균
로봇: Unitree Go2 사족(12-DoF) + 하부 전면 1-DoF 그리퍼(Dynamixel), 1인칭 RealSense D435, 천장 어안 카메라

추론 장치·속도: 제어기: 온보드 Jetson(Orin) 50 Hz, 깊이 인코더 10 Hz; VLM: 별도 워크스테이션(SAM2 추적 10 Hz); 파지용 인식(GroundingDINO·MobileSAM 0.2 Hz, Cutie 10 Hz)은 온보드(on-device)
추론 메모리: 미공개
가중치 bf16 (계산): 미공개
실행 위치: 온보드 Jetson(제어기) + 워크스테이션(VLM)

강화학습: 사용 (RL 제어기 학습) · 유일한 학습 정책인 저수준 깊이 제어기를 PPO(특권 교사)→ROA 깊이 학생으로 학습; 상위 인식·명령은 학습 없음
강화학습 근거: https://arxiv.org/abs/2410.00231
베이스 제어: 사족보행 (명령·잠재 → RL 보행 제어기) · VLM 검출 위치로 비례 제어기가 선속도(0.8 m/s)·요·피치 명령 생성 → 깊이 기반 RL 정책이 관절 제어

핵심 특징: 전면 하단 1-DoF 그리퍼를 단 Go2에 시뮬 RL로 학습한 1인칭 깊이 기반 민첩 제어기와 사전학습 VLM 인식·비례 제어를 결합한 모듈형 실내 물체 가져오기 시스템이다. 실데이터 수집·학습 없이 처음 보는 집 2곳에서 침대 위로 올라가 장난감을 가져오는 등 60–70% 성공률을 보였다.
비고: 학습되는 부분은 저수준 RL 제어기뿐이고, 검출·추적은 사전학습 모델, 이동·파지 명령은 규칙 비례 제어(선속도 0.8 m/s 고정); 천장 카메라 의존을 한계로 명시; 자연어 물체 지정은 Florence-2 프롬프트; 코드 공개(GitHub), 가중치 미공개.
검증: 수정 반영