TrackVLA

Peking University·Galbot·Beihang University·Beijing Normal University·BAAI · 2025-05

VLA내비게이션7Bdiffusion

공유 LLM 위에 목표 인식용 언어 헤드와 궤적 계획용 anchor 기반 diffusion 헤드를 병렬로 둬 인식과 추적 궤적 계획을 함께 학습하는 체화 시각 추적 VLA다.

논문

분류: 내비게이션
유형: VLA
발표: 2025-05
기관: Peking University·Galbot·Beihang University·Beijing Normal University·BAAI
가중치 공개: 아니오
파라미터: 7B (Vicuna-7B 기반; 전체 수치 미기재)

백본 LLM: Vicuna-7B
비전 인코더: EVA-CLIP (동결)
액션 헤드: anchor 기반 diffusion 헤드 (DiT, DDIM 2스텝) 웨이포인트 + 언어 헤드(인식) (diffusion)
청크: 웨이포인트 10개
제어 주기: 10 FPS
구조 원문 요약: EVA-CLIP(동결) + 2층 MLP 프로젝터 + Vicuna-7B; 현재 프레임 64토큰·과거 프레임 4토큰(32프레임 창); 추적 시 anchor 기반 diffusion 헤드(DiT 12층·hidden 768·12헤드, anchor 40개, DDIM 2스텝)가 웨이포인트 10개(x, y, θ) 생성, 인식 시 언어 모델링 헤드; 실환경 10 FPS

사전학습 가속기: H100 24장
사전학습 기간: 약 15시간
사전학습 스텝·배치: 1 에폭 · 총 배치 196 (lr 2e-5 코사인)
GPU·TPU-시간: 360 (명시 · H100-시간 ("totaling 360 GPU hours"))
파인튜닝: 해당 없음
데이터 종류: 시뮬레이션·합성 / 웹 비전-언어
데이터 규모: 총 1.7M: 체화 시각 추적 855K(4.1절은 885K) + 영상 QA 855K(사람 인식 362K + 개방형 VQA 493K)
주요 데이터셋: EVT-Bench(Habitat 3.0, HM3D·MP3D 804개 장면, 사람 아바타 100개); SYNTH-PEDES; 공개 VQA
태스크·평가: EVT-Bench SR 단일 목표 85.1%·방해 목표 57.6%·모호 목표 50.2%; Gym-UnrealCV 제로샷 SR 1.00(단일)·0.91(방해물)·1.00(미지 물체); 실세계 난이도별 10회 SR 100%·90%·70%(상용 추적 드론 DJI Flip 100%·70%·50%)
로봇: Unitree Go2 사족 + RealSense D455(640×480, HFOV 90°); pure pursuit 폐루프 추종, LiDAR elastic band 장애물 회피

강화학습: 미사용 · 모방학습(SFT)만
베이스 제어: 사족보행 (웨이포인트 → 추종 제어기) · VLA가 웨이포인트 궤적 출력 → pure pursuit 폐루프 추종(LiDAR 기반 장애물 회피 병행)

핵심 특징: 공유 LLM 위에 목표 인식용 언어 헤드와 궤적 계획용 anchor 기반 diffusion 헤드를 병렬로 둬 인식과 추적 궤적 계획을 함께 학습하는 체화 시각 추적 VLA다. 자체 EVT-Bench 시뮬 추적 데이터와 인식 데이터 1.7M으로 학습해 제로샷 Gym-UnrealCV와 실환경에서 10 FPS로 강건한 추적을 보였다.
비고: 추적 샘플 수 855K vs 885K 본문 불일치; TrackVLA 가중치 미공개(EVT-Bench와 Uni-NaVid 평가 코드·가중치만 공개); EVA-CLIP·Vicuna-7B는 사전학습 가중치로 초기화; CoRL 2025.
검증: 확인