LeLaN

UC Berkeley·Toyota Motor North America · 2024-10

VLA내비게이션미공개회귀

YouTube 투어·사람 보행 영상과 로봇 주행 데이터에 SAM·VLM(CogVLM)·GPT-3.5로 물체 지시문을 붙이고 깊이 추정으로 물체 위치를 라벨링해 언어 조건 물체 내비게이션 정책을 학습한다.

논문

백본 LLM: 없음
비전 인코더: ResNet-FiLM (프롬프트 조건; 이력 변형 EfficientNet-B0)
액션 헤드: 선속도·각속도 24스텝 회귀 (회귀)
청크: 24스텝 (첫 스텝 실행)
제어 주기: 미공개 (행동당 0.054초)
구조 원문 요약: 고정 CLIP 텍스트 인코더(ViT-B/32) + 프롬프트 FiLM 조건 ResNet 시각 인코더(이력 사용 변형은 EfficientNet-B0) → 트랜스포머 + MLP → 선속도·각속도 24스텝 시퀀스 회귀, 첫 스텝만 실행(receding horizon)

사전학습 가속기: RTX 4090 1장 (i9·96GB RAM 워크스테이션)
사전학습 기간: 미공개
사전학습 스텝·배치: 배치 256 (에폭·스텝 미공개; 공개 lelan.yaml 100 에폭)
GPU·TPU-시간: 미공개
파인튜닝: 충돌 회피 변형: 충돌 손실 없이 사전학습 후 NoMaD 감독 충돌 손실로 미세조정 (README); GPU·시간 미공개
데이터 종류: 실로봇 텔레옵 / 실로봇 자율 주행 로그 / 웹 영상 / 사람 영상
데이터 규모: 표 1: 실내 로봇 31.0h(이미지 111,570) · YouTube 투어 82.5h(593,727) · 사람 보행 15.7h(113,277); 프롬프트 3.4M·14.6M·2.3M
주요 데이터셋: GO Stanford 2·4; SACSoN(HuRoN); YouTube Tour(32개국); Human-walking(자체 수집, 3개국 11개 도시)
태스크·평가: 실환경 언어 지정 물체 도달 성공률 0.89 (OWL-v2+ZoeDepth 0.67, CoW 0.58, OWL-ViT+ViNT 0.47, OpenFMNav 0.43); 노이즈 프롬프트 0.88; 동적 물체 0.83; 장애물 환경 충돌 손실 적용 0.60 (OWL-v2+ZoeDepth 0.40)
로봇: 바퀴형 로봇(README: Roomba 기반 Vizbot; RICOH Theta S 전방 어안), Unitree Go1 사족; D435i 등 카메라 교차 시험

강화학습: 미사용 · 지도학습만 (NoMaD 충돌 회피 궤적을 손실로 증류)
베이스 제어: 바퀴형·사족보행 (베이스 속도·자세 직접 출력) · 정책이 선속도·각속도 24스텝 시퀀스를 출력하고 첫 스텝만 /cmd_vel로 실행 (receding horizon)

핵심 특징: YouTube 투어·사람 보행 영상과 로봇 주행 데이터에 SAM·VLM(CogVLM)·GPT-3.5로 물체 지시문을 붙이고 깊이 추정으로 물체 위치를 라벨링해 언어 조건 물체 내비게이션 정책을 학습한다. 실환경 제로샷 성공률 0.89로 OWL-v2+ZoeDepth(0.67)·CoW(0.58) 등 모듈형 기준선보다 높았고 Jetson Orin에서 행동당 0.054초로 동작한다.
비고: 데이터 총합 초록 130시간 이상(기여 목록 120시간 이상; 표 1 세 항목 합 129.2h). 파라미터·학습 시간 미공개. README의 arXiv 배지는 다른 논문(2407.08693)을 가리키며 실제 논문은 2410.03603. 장거리 목표는 OWL-ViT2 노드 검색 + ViNT 위상 그래프와 결합(README). 데이터·가중치 공개. CoRL 2024.
검증: 수정 반영