RING (The One RING)

Allen Institute for AI·University of Washington · 2024-12

VLA내비게이션미공개이산 토큰

시뮬에서 카메라 위치·화각·충돌체 크기 등을 무작위화한 100만 개 엠바디먼트의 전문가 궤적으로 모방학습한 뒤 DD-PPO로 RL 미세조정해 형상에 무관한 실내 물체 탐색 정책을 만든다.

논문

백본 LLM: 없음
비전 인코더: SigLIP-ViT-B/16 (고정)
액션 헤드: 선형 actor-critic 헤드 (이산 행동 로짓 + 가치) (이산 토큰)
청크: 없음 (1스텝 이산 행동)
제어 주기: 미공개
구조 원문 요약: 고정 SigLIP-ViT-B/16 이미지·텍스트 인코더(768→512 투영) → 트랜스포머 상태 인코더 3층 + 인과 트랜스포머 디코더 3층(512차원·8헤드, 컨텍스트 100스텝) → 선형 actor-critic 헤드: 공통 이산 행동(MoveBase ±20cm, RotateBase ±6°·±30°, Done)

사전학습 가속기: H100 80GB 8장 (IL)
사전학습 기간: 미공개
사전학습 스텝·배치: 80k 반복 · 배치 240 궤적(표 10은 224), 컨텍스트 100스텝
GPU·TPU-시간: 미공개
파인튜닝: DD-PPO RL 미세조정: H100 8장 × 4대, 40M 스텝(병렬 환경 64·롤아웃 128), 시간 미공개
데이터 종류: 시뮬레이션·합성
데이터 규모: 무작위 엠바디먼트 100만 개·ProcTHOR 집 50k의 전문가 궤적 (서론은 150k 집 언급)
주요 데이터셋: ProcTHOR 절차 생성 집 + Objaverse 물체 (AI2-THOR); HF allenai/ring-data
태스크·평가: 시뮬 ObjectNav 5개 엠바디먼트 평균 성공률 72.1% (FLaRe 44.8%, PoliFormer 55.4%, SPOC-2.3M 35.5%; CHORES-S 16.7%p 향상); 실세계 Stretch 83.3%·Stretch(공장 구성) 72.2%·LoCoBot 80.0%·Go1 80.0% (평균 78.9%)
로봇: 실세계: Stretch RE-1(2가지 카메라 구성)·LoCoBot 바퀴형, Unitree Go1 사족, RB-Y1 바퀴형 휴머노이드(정성 평가); 시뮬: Stretch·LoCoBot·Unitree A1 등

강화학습: 사용 (VLA RL 사후학습) · 전문가 궤적 모방학습 후 DD-PPO로 정책 자체를 RL 미세조정 (40M 스텝)
강화학습 근거: https://arxiv.org/html/2412.14401v2
베이스 제어: 바퀴형·사족보행 (이산 이동 행동) · 모든 엠바디먼트 공통 이산 행동(MoveBase ±20cm·RotateBase ±6°/±30°·Done)을 내면 로봇별 하위 제어기가 실행

핵심 특징: 시뮬에서 카메라 위치·화각·충돌체 크기 등을 무작위화한 100만 개 엠바디먼트의 전문가 궤적으로 모방학습한 뒤 DD-PPO로 RL 미세조정해 형상에 무관한 실내 물체 탐색 정책을 만든다. 시뮬 5개 엠바디먼트 평균 성공률 72.1%, 실제 Stretch RE-1·LoCoBot·Go1 등 4개 플랫폼에서 제로샷 78.9%를 기록했다.
비고: 목록 외 추가: 2024–2026 교차 엠바디먼트·언어 목표 내비 일반화 정책의 대표 사례. IL 배치 본문 240·표 10 224, RL lr 본문 2e-5·표 10 2e-4 불일치. 파라미터·학습 시간·추론 장치 미공개. HF 체크포인트 587MB(ring_model_step_40356421).
검증: 확인