VLA 갤러리 / 모델 목록 / 모바일 매니퓰레이션

HarmonicMM

UC San Diego·Allen Institute for AI(PRIOR)·University of Washington · 2023-12

VA모바일 매니퓰레이션미공개RL 정책

내비게이션과 조작 모듈을 나누지 않고 RGB만으로 베이스와 팔을 함께 움직이는 단일 정책을 ProcTHOR 시뮬에서 DD-PPO로 끝단간 학습한다.

논문

백본 LLM: 없음
비전 인코더: DINOv2 ViT-S/14 (Nav·Manip 카메라 2대)
액션 헤드: 액터-크리틱 FC (5차원 연속 행동 + 파지) (RL 정책)
청크: 없음 (1스텝)
제어 주기: 미공개
구조 원문 요약: 사전학습 DINOv2(dinov2_vits14) 특징(Nav·Manip RGB 카메라 2대) → 카메라별 1×1 Conv 2층(16채널) + 고유감각 → GRU 1층(512) → 정책·가치 FC(512); 5차원 연속 행동(베이스 병진·회전, 팔 높이·신장, 손목 회전; 문·냉장고 과제는 파지 1차원 추가), 청크 없음

사전학습 가속기: 해당 없음
사전학습 기간: 해당 없음
사전학습 스텝·배치: 해당 없음
GPU·TPU-시간: 미공개
파인튜닝: 과제별 RL 학습: DD-PPO(AllenAct) 10^7 스텝, 병렬 환경 20개·반복당 샘플 640, 시드 3개; GPU·학습 시간 미공개
데이터 종류: 시뮬레이션·합성
데이터 규모: ProcTHOR 하우스: 문 700·테이블 2,000·냉장고 1,400개; 과제당 10^7 환경 스텝
주요 데이터셋: ProcTHOR(AI2-THOR) 절차 생성 하우스
태스크·평가: 시뮬(미학습 하우스 350개) 성공률: Cleaning Table 36.7%, Opening Door Push 80.0%·Pull 51.2%, Opening Fridge 20.0% (평균 47%; ReLMoGen 25.1%·51.7%·40.7%·0%); 실환경: 문 당기기 9/15, 밀기 7/10, 테이블 청소 8/12(표면 66.6%)
로봇: Hello Robot Stretch(바퀴형 베이스, 팔 높이·신장 제어), RealSense D455 RGB

강화학습: 사용 (RL 제어기 학습) · 정책 전체를 ProcTHOR 시뮬에서 DD-PPO로 과제별 처음부터 학습(10^7 스텝) 후 실환경 zero-shot 이전
강화학습 근거: https://arxiv.org/abs/2312.06639
베이스 제어: 바퀴형 (RL 정책이 직접 구동) · 정책이 베이스 병진·회전을 팔 높이·신장·손목 회전과 함께 5차원 연속 행동으로 직접 출력

핵심 특징: 내비게이션과 조작 모듈을 나누지 않고 RGB만으로 베이스와 팔을 함께 움직이는 단일 정책을 ProcTHOR 시뮬에서 DD-PPO로 끝단간 학습한다. 시뮬 4과제 평균 성공률 47%로 ReLMoGen 등 기준선을 앞섰고 미세조정 없이 처음 보는 실제 아파트에서 문 열기·테이블 청소를 수행했다.
비고: 2024 이전 참고 기준(anchor). 과제별 별도 정책이며 언어·목표 입력 없음. 시각 인코더는 ViT(DINOv2)지만 정책 트렁크가 GRU라 비트랜스포머로 분류. 실로봇 문손잡이 파지는 휴리스틱 보조. 코드 공개(GitHub), 체크포인트 미제공. IROS 2024 Best Paper on Mobile Manipulation.
검증: 확인