VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

LLaRA

Stony Brook University·University of Wisconsin–Madison · 2024-06

VLA자기회귀·잠재 액션 VLA7B이산 토큰

로봇 행동을 LLaVA 대화 형식의 텍스트로 바꾸고 6종 보조 자기지도 데이터로 학습한다.

논문

LLaRA: Supercharging Robot Learning Data for Vision-Language PolicyarXiv 2406.20095

개요

분류

자기회귀·잠재 액션 VLA

유형

VLA

발표

2024-06

기관

Stony Brook University·University of Wisconsin–Madison

가중치 공개

예

파라미터

7B(LLaVA-1.5-7B)

구조

백본 LLM

Vicuna 7B · LLaVA-1.5 구성

비전 인코더

CLIP ViT-L (고정)

액션 헤드

텍스트 좌표·회전 출력 (이산 토큰)

청크

미공개

제어 주기

미공개

구조 원문 요약

LLaVA-1.5-7B(비전 인코더 고정); 액션을 텍스트로 출력(정규화 2D 이미지 좌표 + 회전 각도)

학습

사전학습 가속기

해당 없음(로봇 사전학습 없음)

사전학습 기간

해당 없음

사전학습 스텝·배치

해당 없음

GPU·TPU-시간

미공개

파인튜닝

논문: batch 32(VIMA-0.8k/8k)/128(VIMA-80k), lr 최대 2e-5, GPU·시간 미공개; README: 전체 FT는 24GB 이상 Ampere GPU 4장 + RAM 300GB(A5000 4장에서 검증), LoRA는 24GB GPU 1장

데이터 종류

시뮬레이션·합성 + 실로봇(xArm)

데이터 규모

VIMA 전문가 궤적 0.8k/8k/80k; 보조·xArm 샘플 수 미공개

주요 데이터셋

VIMA-Bench, xArm-Det, xArm-Action

태스크·평가

VIMA-Bench L1–L3(20 seeds); 실제 xArm(설정당 20 에피소드)

로봇

VIMA-Bench 시뮬레이션, xArm

추론

추론 장치·속도

24GB GPU 1장(README); 속도 미공개

추론 메모리

24 GB GPU 1장으로 실행 (README)

가중치 bf16 (계산)

14 GB

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 지시 튜닝(지도학습)

베이스 제어

고정 · 베이스 제어 없음 (xArm 팔·시뮬)

비고

핵심 특징

로봇 행동을 LLaVA 대화 형식의 텍스트로 바꾸고 6종 보조 자기지도 데이터로 학습한다. 로봇 사전학습 없이 VLM을 바로 파인튜닝한다.

비고

하드웨어는 논문이 아니라 README 요구사항이다.

검증

확인