VLA 갤러리 / 모델 목록 / 모바일 매니퓰레이션

SLIM

Horizon Robotics · 2025-01

VLA모바일 매니퓰레이션19M 미만RL 정책

손목 RGB 한 대와 언어 지시로 탐색·접근·집기·운반·투하 장기 과제를 수행하는 사족+팔 정책을 MuJoCo 시뮬 RL(특권 교사→시각 학생)만으로 학습해 실로봇에 무학습 배포했다.

논문

백본 LLM: 없음
비전 인코더: FiLM U-Net(분할·깊이 보조) + ResNet 5블록, 160×90 RGB 5프레임
액션 헤드: MLP actor: 팔 관절 증분·그리퍼·전진/각속도 (RL 정책)
청크: 없음 (1스텝)
제어 주기: 고수준 10 Hz, 저수준 50 Hz
구조 원문 요약: 160×90 RGB 5프레임 → FiLM U-Net(분할·깊이 보조 예측)+ResNet 5블록+트랜스포머 5층(8헤드), 언어는 바이트 토큰 2층 트랜스포머 → MLP actor(512×3): 팔 관절 증분·그리퍼 목표·전진/각속도 명령 10 Hz → PPO 저수준 보행 정책 다리 관절 목표 50 Hz

사전학습 가속기: 해당 없음
사전학습 기간: 해당 없음
사전학습 스텝·배치: 해당 없음
GPU·TPU-시간: 미공개
파인튜닝: 시뮬 RL(MuJoCo)만: 교사(다중과제 SAC) GPU 4장 약 1주(120 env·4M iter), 학생(SAC+KL 증류) GPU 4장 약 2주(60 env·1.3M iter), 저수준(PPO+ROA) GPU 1장 약 3일(5,000 env·4B env 스텝); V100급 GPU
데이터 종류: 시뮬레이션·합성
데이터 규모: 시뮬 RL: 교사 약 60M·학생 약 40M env 스텝, 저수준 4B env 스텝; 실데이터 없음
주요 데이터셋: 없음(MuJoCo 시뮬 환경)
태스크·평가: 실환경 Lobby 표준 배치 전체 과제 성공 78.3±5.8%(3시드×20회) vs 전문가 텔레옵 75.0±5.0%; 평균 43.8초(텔레옵 65.5초); 실내외 총 400 에피소드 평가
로봇: Unitree Go1 사족 + WidowX-250S 팔, 손목 RealSense D435(RGB만 사용)

추론 장치·속도: 노트북 RTX 3070Ti(i9-12900H, RAM 16GB)에서 고수준 10 Hz·저수준 50 Hz 비동기 추론; 로봇 측 Raspberry Pi는 드라이버 구동
추론 메모리: 미공개
가중치 bf16 (계산): 0 GB
실행 위치: 노트북 RTX 3070Ti

강화학습: 사용 (RL 제어기 학습) · 고수준 교사(다중과제 SAC)·시각 학생(SAC+KL 증류)·저수준 보행(PPO+ROA) 모두 MuJoCo 시뮬 RL, 실데이터 없음
강화학습 근거: https://arxiv.org/abs/2501.09905
베이스 제어: 사족보행 (RL 정책이 직접 구동) · 고수준 정책이 전진·각속도 명령 + 팔 관절 증분·그리퍼 출력 → PPO 저수준 보행 정책이 다리 관절 제어

핵심 특징: 손목 RGB 한 대와 언어 지시로 탐색·접근·집기·운반·투하 장기 과제를 수행하는 사족+팔 정책을 MuJoCo 시뮬 RL(특권 교사→시각 학생)만으로 학습해 실로봇에 무학습 배포했다. 19M 미만 파라미터로 실환경 전체 과제 성공률 78.3%를 기록해 전문가 텔레옵(75.0%)과 비슷하면서 약 1.5배 빨랐다.
비고: 목록 외 추가(2025 사족 모바일 매니퓰레이션 VLA); 실데이터·파인튜닝 없이 무학습 배포; 언어 인코더는 사전학습 LM 없는 바이트 토큰 트랜스포머; 학습 GPU 'V100 또는 유사'; 코드는 공개 예정만 언급.
검증: 확인