VLA 갤러리 / 모델 목록 / VA

BAKU

New York University · 2024-06

VAVA약 10M회귀

약 10M 파라미터 멀티태스크 정책을 소비자급 GPU 1장에서 벤치마크당 6–26시간에 학습한다.

논문

BAKU: An Efficient Transformer for Multi-Task Policy LearningarXiv 2406.07539

개요

분류

VA

유형

VA

발표

2024-06

기관

New York University

가중치 공개

아니오

파라미터

약 10M(인코더 2.1M + 트렁크 6.5M + 헤드 1.4M); Table 3 변형 4.4M·10M·31M·114M

구조

백본 LLM

없음

비전 인코더

FiLM ResNet-18

액션 헤드

MLP 헤드 + 청크 평활화 (회귀)

청크

10 (LIBERO) · 3 (DMC)

제어 주기

10 Hz

구조 원문 요약

FiLM 조건 ResNet-18 비전 인코더 + 고유감각 → 트랜스포머 관측 트렁크; MLP 행동 헤드 + 행동 청크(LIBERO·Meta-World 10, DMC 3)·시간 평활화, 최신 관측만 사용, 10 Hz

학습

사전학습 가속기

해당 없음

사전학습 기간

해당 없음

사전학습 스텝·배치

해당 없음

GPU·TPU-시간

미공개

파인튜닝

벤치마크별 멀티태스크 모델, RTX A4000 1장: LIBERO-90 600k 스텝·배치 64 약 10.5시간, Meta-World 600k·64 약 8시간, DMC 2M·128 약 26시간, xArm 200k·64 약 6시간

데이터 종류

시뮬레이션·합성; 실로봇 텔레옵

데이터 규모

과제당 50(LIBERO-90)·35(Meta-World)·500(DMC) 데모; 실제 총 520데모(과제당 평균 17)

주요 데이터셋

LIBERO-90; Meta-World; DeepMind Control; 자체 xArm

태스크·평가

LIBERO-90(90과제), Meta-World 30과제, DeepMind Control 9개 보행 과제, 실제 xArm 30과제

로봇

xArm 단일 팔; 시뮬레이션

추론

추론 장치·속도

실제 xArm 10 Hz 폐루프; 지연 미공개

추론 메모리

미공개

가중치 bf16 (계산)

0.2 GB

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 모방학습(행동 복제)만 사용

베이스 제어

고정 · 베이스 제어 없음 (xArm 단일 팔·시뮬)

비고

핵심 특징

약 10M 파라미터 멀티태스크 정책을 소비자급 GPU 1장에서 벤치마크당 6–26시간에 학습한다. 과제 지정은 동결 MiniLM 문장 임베딩이나 목표 이미지로 한다.

비고

동결 MiniLM 텍스트 과제 임베딩을 써 언어 조건 경계선 사례(VLM 백본 없음). 파라미터(B)는 최대 변형 114M. 학습 시간은 과제별이 아닌 벤치마크별 멀티태스크 모델 기준. DMC 보행 과제 포함.

검증

확인