TIC-VLA

University of California, Los Angeles (UCLA) · 2026-02

VLA내비게이션미공개회귀

느린 VLM 추론의 지연된 상태와 명시적 지연 정보(추론·경과 시간, 자기운동)를 조건으로 빠른 액션 정책이 비동기로 제어하는 think-in-control VLA다.

논문

백본 LLM: Qwen2.5-0.5B · InternVL3-1B 구성
비전 인코더: InternViT-300M (InternVL3-1B 내장, 공유 비전 인코더)
액션 헤드: 연속 3차원 행동 청크 MLP 회귀 (적분 궤적 smooth L1) (회귀)
청크: 3초 예측 지평 (T=30 스텝)
제어 주기: 10 Hz (VLM 0.5 Hz)
구조 원문 요약: 공유 비전 인코더 + InternVL3-1B VLM(느린 추론 0.5 Hz, 지연된 마지막 층 KV 캐시를 MLP 투영) + 트랜스포머 액션 전문가(학습형 액션 쿼리가 현재 시각 토큰·지연 VLM 캐시·로봇 상태·지연 Δt·자기운동 Δp에 cross-attention) → MLP로 연속 3차원 행동 청크 출력, 적분한 3초 궤적의 목표점 실행, 10 Hz

사전학습 가속기: L40S 8장 (VLM SFT, DDP)
사전학습 기간: 미공개
사전학습 스텝·배치: VLM SFT GPU당 배치 2(×8장)·lr 2e-5, 액션 전문가 GPU당 배치 16·lr 2e-4; 10 에폭·워밍업 1,000스텝(Table 8, 단계 구분 없음); 총 스텝 미공개
GPU·TPU-시간: 미공개
파인튜닝: PPO 온라인 RL: L40S 1장, 400 iteration(3과제×3환경); 시간 미공개
데이터 종류: 실로봇 텔레옵 / 시뮬레이션·합성
데이터 규모: SCAND 8.7시간 + GND 11시간 이상 + DynaNav 5.1시간(합계 24.8시간 이상); CoT·지시는 GPT-5 자동 주석; 샘플·에피소드 수 미공개
주요 데이터셋: SCAND; GND; DynaNav(자체 Isaac Sim)
태스크·평가: DynaNav(85개 테스트, 창고·병원·사무실·보도) SR 55.29%·SPL 50.29·충돌률 28.24%(RL 없이 SR 47.06%; NaVILA 28.24%, Uni-NaVid 22.35%, 점 목표 NavDP 54.12%); 실로봇 4과제×5회 SR 0.85(RTX 4060)·0.75(Orin NX)·0.80(A6000), DualVLN 0.50·NaVILA 0.35
로봇: 실로봇 Unitree Go2 사족(전방 RGB); 시뮬 DynaNav Nova Carter 바퀴형·Boston Dynamics Spot 사족

추론 장치·속도: 액션 정책/VLM 추론 지연: RTX 4060 노트북(50W) 85.73/3430.73 ms, Jetson Orin NX(25W) 120.27/4831.73 ms, RTX A6000 32.70/1681.66 ms; 시뮬(L40S) 액션 10 Hz·VLM 0.5 Hz; 메모리 미공개
추론 메모리: 미공개
가중치 bf16 (계산): 미공개
실행 위치: 엣지 GPU (Jetson Orin NX·RTX 4060 노트북)

강화학습: 사용 (VLA RL 사후학습) · 모방학습 후 액션 정책만 PPO 온라인 RL(Isaac Lab 동적 보행자 환경, 비전 인코더·LM 동결)
강화학습 근거: https://arxiv.org/html/2602.02459v2
베이스 제어: 바퀴형·사족보행 (웨이포인트 → 추종 제어기) · 액션 정책이 연속 행동 청크 출력 → 적분한 단기 궤적의 목표점을 로봇이 추종(시뮬은 제어기가 평활 속도 명령 (v, ω) 생성, 실로봇 저수준 명령 방식 미기재); 실로봇 Go2, 시뮬 Nova Carter·Spot

핵심 특징: 느린 VLM 추론의 지연된 상태와 명시적 지연 정보(추론·경과 시간, 자기운동)를 조건으로 빠른 액션 정책이 비동기로 제어하는 think-in-control VLA다. 학습 때 0–10초 추론 지연을 주입하고 PPO로 미세조정해 수 초 지연에서도 10 Hz 제어를 유지하며 DynaNav SR 55.29%로 기존 VLA(NaVILA 28.24%)를 앞섰다.
비고: ICML 2026. 체크포인트·추론 데이터셋·DynaNav·RL 스크립트 공개(HF handsomeYun/TIC-VLA 데이터셋 저장소). 총 파라미터·학습 시간 미공개. 데이터 시간은 세 데이터셋 명시값 합산(GND 'over 11 hours'라 하한). SCAND는 사람 텔레옵 시연(SCAND 논문 초록), GND 수집 방식은 미확인. 실로봇 저수준 명령 방식 미기재.
검증: 수정 반영