VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

TraceVLA

University of Maryland·Microsoft Research · 2024-12

VLA자기회귀·잠재 액션 VLA7B이산 토큰

점 추적 궤적을 이미지 프롬프트로 넣는 visual trace prompting으로 시공간 인식을 높였다.

논문

TraceVLA: Visual Trace Prompting Enhances Spatial-Temporal Awareness for Generalist Robotic PoliciesarXiv 2412.10345

개요

분류

자기회귀·잠재 액션 VLA

유형

VLA

발표

2024-12

기관

University of Maryland·Microsoft Research

가중치 공개

예

파라미터

7B(OpenVLA 기반); 4B Phi-3V 변형

구조

백본 LLM

Llama 2 7B (OpenVLA) / Phi-3-Vision 4B

비전 인코더

SigLIP + DINOv2 + CoTracker 궤적 이미지

액션 헤드

256-bin 토큰 (이산 토큰)

청크

미공개

제어 주기

미공개

구조 원문 요약

OpenVLA(Prismatic-7B) 또는 Phi-3-Vision 4B; CoTracker 시각 궤적을 겹친 추가 이미지 입력, OpenVLA식 이산 액션 토큰

학습

사전학습 가속기

해당 없음(7B는 OpenVLA 체크포인트, 4B는 Phi-3-Vision 가중치에서 시작)

사전학습 기간

해당 없음

사전학습 스텝·배치

해당 없음

GPU·TPU-시간

미공개

파인튜닝

7B: GPU 64장(README 스크립트, 8노드×8), OpenVLA에서 5 epochs 추가; Phi3-4B: H100 32장, 30 epochs, batch 4096; 시간 미공개

데이터 종류

실로봇 텔레옵(시각 궤적 주석 포함)

데이터 규모

약 150K 궤적 + WidowX-250 시연 120개

주요 데이터셋

BridgeData V2, Fractal

태스크·평가

SimplerEnv 137개 설정 47.7%(OpenVLA 40.2%); 실제 WidowX-250 seen·unseen 각 4과제

로봇

WidowX-250, SimplerEnv 시뮬레이션

추론

추론 장치·속도

OpenVLA 속도 + 추가 토큰 약 0.002 s, CoTracker(M=5) 스텝당 0.03 s

추론 메모리

미공개

가중치 bf16 (계산)

14 GB

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 모방학습(행동 복제)만 사용

베이스 제어

고정 · 베이스 제어 없음 (WidowX 팔)

비고

핵심 특징

점 추적 궤적을 이미지 프롬프트로 넣는 visual trace prompting으로 시공간 인식을 높였다. SimplerEnv 137개 설정에서 47.7%로 OpenVLA(40.2%)를 앞섰다.

비고

궤적 주석 데이터로 OpenVLA를 이어 학습하므로 별도 로봇 사전학습이 없다. 파라미터(B)는 7B 변형 기준이다. v3 PDF 소속에 Capital One도 있다는 1회 추출 결과가 있다†.

검증

확인