VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

RoboMamba

Peking University·AI²Robotics·BAAI · 2024-06

VLA자기회귀·잠재 액션 VLAMamba 2.8B/1.4B + ViT-L회귀

트랜스포머 대신 Mamba 상태공간 모델을 LLM으로 쓴 VLA다.

논문

RoboMamba: Efficient Vision-Language-Action Model for Robotic Reasoning and ManipulationarXiv 2406.04339

개요

분류

자기회귀·잠재 액션 VLA

유형

VLA

발표

2024-06

기관

Peking University·AI²Robotics·BAAI

가중치 공개

미확인

파라미터

Mamba 2.8B/1.4B + ViT-L; 정책 헤드 3.7M(전체의 0.1%)

구조

백본 LLM

Mamba 2.8B (SSM)

비전 인코더

CLIP/SigLIP ViT-L

액션 헤드

MLP 자세 회귀 (3.7M) (회귀)

청크

미공개

제어 주기

미공개

구조 원문 요약

Mamba SSM LLM 2.8B/1.4B + CLIP/SigLIP ViT-Large; MLP 자세 회귀 헤드(3.7M)로 연속 SE(3) 엔드이펙터 자세, 액션 토큰 미사용

학습

사전학습 가속기

NVIDIA A100(수 미공개)

사전학습 기간

미공개

사전학습 스텝·배치

정렬 1 epoch(LLaVA-LCS 558K); 공동학습 2 epochs(LLaVA 혼합 655K + RoboVQA 300K)

GPU·TPU-시간

미공개

파인튜닝

A100(수 미공개), 8 epochs(SAPIEN 이미지 10K), 'a few dozen minutes'

데이터 종류

웹 비전-언어 + 로봇 VQA + 시뮬레이션·합성

데이터 규모

LLaVA-LCS 558K + LLaVA 혼합 655K + RoboVQA 300K; SAPIEN 이미지 10K

주요 데이터셋

LLaVA-LCS 558K, LLaVA 혼합, RoboVQA, SAPIEN

태스크·평가

SAPIEN 조작 seen 63.3%·unseen 53%; RoboVQA

로봇

SAPIEN 시뮬레이션, 실제 로봇(기종 미기재)

추론

추론 장치·속도

기존 VLA보다 3배 빠름(절대 Hz 미기재)

추론 메모리

미공개

가중치 bf16 (계산)

5.6 GB

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 모방학습(행동 복제)만 사용

베이스 제어

고정 · 베이스 제어 없음 (팔 EE 자세 회귀)

비고

핵심 특징

트랜스포머 대신 Mamba 상태공간 모델을 LLM으로 쓴 VLA다. 조작 파인튜닝은 수십 분이며, 기존 VLA보다 추론이 3배 빠르다고 보고했다.

비고

비트랜스포머 비교용 참고 행이다. 파라미터(B)는 최대 Mamba LLM(2.8B) 기준이며 ViT-L은 제외했다. 저장소·가중치 공개 여부는 확인불가†.

검증

확인