ViNT

UC Berkeley · 2023-06

VA내비게이션31M회귀

GNM 데이터 혼합을 확장한 다로봇 주행 데이터로 31M 트랜스포머 정책을 학습하고 목표 토큰을 GPS 좌표·경로 명령 등 다른 목표 모달리티용 soft prompt로 바꿔 적응한다.

논문

백본 LLM: 없음
비전 인코더: EfficientNet-B0 (관측 / 관측+목표 early fusion)
액션 헤드: 웨이포인트 5개 + 시간적 거리 MLP 회귀 (회귀)
청크: 웨이포인트 5개
제어 주기: 4 Hz
구조 원문 요약: EfficientNet-B0 관측 인코더 + 관측·목표 채널 결합(early fusion) 목표 인코더 → 디코더형 트랜스포머 4층·4헤드(512차원, 과거 5+현재 관측 토큰 + 목표 토큰) → MLP: 상대 웨이포인트 5개 + 시간적 거리; 85×64 RGB; 4 Hz 실행·PD 추종; 탐색 시 318M 이미지 확산 모델이 subgoal 제안 + 위상 그래프

사전학습 가속기: V100 8장 (표 6, 대표 구성); 확산 모델 TPU v4-8 보드
사전학습 기간: 30시간 (정책); 확산 모델 30시간
사전학습 스텝·배치: 30 에폭 · 배치 300 (정책); 확산 250k 스텝 · 배치 128
GPU·TPU-시간: 240 (환산 · V100 8장 × 30시간 (표 6 '대표 구성' 각주; 확산 모델 TPU v4-8 × 30시간 별도))
파인튜닝: 새 환경·엠바디먼트·목표 모달리티(GPS·경로 명령) 적응: lr 1e-4·5 에폭, 1시간 내외 데이터; GPU·시간 미공개
데이터 종류: 실로봇 텔레옵 / 실로봇 자율 주행 로그
데이터 규모: 표 7: 데이터셋 11개 보유 160h 중 학습 80h 사용; 로봇 플랫폼 8종(본문)
주요 데이터셋: RECON; GoStanford; SCAND; TartanDrive; NeBula; SACSoN; BDD; CoryHall; Berkeley; Seattle
태스크·평가: 무방향 목표 도달 성공률 실내 0.94·실외 1.00 (End-to-End BC 0.72·0.44); 위성 유도 탐색 성공 1.00·SPL 0.94 (ViKiNG 0.77·0.68); 적응 성공률 이미지 0.82·위치 0.89·경로 명령 0.72
로봇: Vizbot·LoCoBot·Clearpath Jackal 바퀴형, Unitree Go1 사족 (본문은 드론 포함 5종 언급); Go1·LoCoBot은 학습 데이터에 없음

추론 장치·속도: 4 Hz로 실행, PD 제어기가 웨이포인트 추종 (논문); README 배포 예시 LoCoBot + Jetson Orin Nano; 지연 미공개
추론 메모리: 미공개
가중치 bf16 (계산): 0.1 GB
실행 위치: 온보드 Jetson Orin Nano (LoCoBot, README)

강화학습: 미사용 · 최대우도 모방학습만 (RL은 기준선에만 등장)
베이스 제어: 바퀴형·사족보행 (웨이포인트 → 추종 제어기) · 정책이 웨이포인트 5개 출력 → PD 제어기가 4 Hz로 추종해 속도 명령 생성; 로봇에는 저수준 속도 추종 제어기만 필요

핵심 특징: GNM 데이터 혼합을 확장한 다로봇 주행 데이터로 31M 트랜스포머 정책을 학습하고 목표 토큰을 GPS 좌표·경로 명령 등 다른 목표 모달리티용 soft prompt로 바꿔 적응한다. 확산 subgoal 제안과 그래프 탐색을 결합해 킬로미터 규모 탐색을 수행했고 학습 데이터에 없던 Go1 사족·LoCoBot에서도 제로샷으로 동작했다.
비고: 표 6 학습 자원은 '대표 구성'이며 여러 GPU 구성을 썼다고 각주에 명시. 데이터 규모 표기 상이(초록 'hundreds of hours', 본문 100시간 이상, 표 7 캡션 150시간 이상, 합계 160h/사용 80h). 공개 vint.yaml은 100 에폭·배치 256으로 논문과 다름. 가중치 Google Drive 공개. CoRL 2023.
검증: 확인