VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

TinyVLA

Midea Group·East China Normal University·Shanghai University·Syracuse University·Beijing Innovation Center of Humanoid Robotics · 2024-09

VLA자기회귀·잠재 액션 VLAS 422M / B 740M / H 1.3Bdiffusion

로봇 데이터 사전학습 없이 소형 VLM에 확산 헤드를 붙이고 LoRA(트랜스포머 파라미터의 5.0%)로 학습한다.

논문

TinyVLA: Towards Fast, Data-Efficient Vision-Language-Action Models for Robotic ManipulationarXiv 2409.12514

개요

분류

자기회귀·잠재 액션 VLA

유형

VLA

발표

2024-09

기관

Midea Group·East China Normal University·Shanghai University·Syracuse University·Beijing Innovation Center of Humanoid Robotics

가중치 공개

일부

파라미터

S 422M / B 740M / H 1.3B(학습 파라미터 101M/138M/143M)

구조

백본 LLM

Pythia (TinyVLA-S/B/H)

비전 인코더

LLaVA 프레임워크 비전 인코더

액션 헤드

확산 정책 헤드 (diffusion)

청크

미공개

제어 주기

미공개

구조 원문 요약

LLaVA 프레임워크의 Pythia LLM(TinyVLA-S/B/H) + 확산 정책 헤드, 7차원 연속 액션

학습

사전학습 가속기

해당 없음(로봇 사전학습 없음; VLM 사전학습 하드웨어 미공개)

사전학습 기간

해당 없음

사전학습 스텝·배치

해당 없음

GPU·TPU-시간

미공개

파인튜닝

미공개(GPU·시간·배치·LoRA rank 기재 없음)

데이터 종류

실로봇 텔레옵 + 시뮬레이션·합성 + 웹 비전-언어(VLM용 LLaVA 데이터)

데이터 규모

Franka 과제당 100 궤적; MetaWorld 50 시연

주요 데이터셋

자체 Franka·UR5 텔레옵, MetaWorld, LLaVA

태스크·평가

MetaWorld 50과제 31.6%; 실제 Franka 5과제 94.0%(OpenVLA 대비 +25.7%); 양팔 UR5 44.5%(OpenVLA 0%)

로봇

Franka 단일 팔, UR5 양팔, MetaWorld 시뮬레이션

추론

추론 장치·속도

A6000 1장 14 ms(TinyVLA-H), OpenVLA 292 ms

추론 메모리

미공개

가중치 bf16 (계산)

2.6 GB

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 모방학습(행동 복제)만 사용

베이스 제어

고정 · 베이스 제어 없음 (Franka·UR5 팔)

비고

핵심 특징

로봇 데이터 사전학습 없이 소형 VLM에 확산 헤드를 붙이고 LoRA(트랜스포머 파라미터의 5.0%)로 학습한다. A6000 지연 14 ms로 OpenVLA(292 ms)의 약 1/20이다.

비고

확산 헤드 VLA로 자기회귀 토큰 모델은 아니지만 배정 범위라 포함했다. 기반 VLM(약 400M/700M/1.3B)만 HF에 공개됐고 정책 체크포인트는 보지 못했다. 코드 공개 2025-02-17. 파라미터(B)는 최대 변형 TinyVLA-H 기준이다.

검증

확인