VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

Magma

Microsoft Research·University of Maryland·UW–Madison·KAIST·University of Washington · 2025-02

VLA자기회귀·잠재 액션 VLA8.6B이산 토큰

UI 내비게이션과 로봇 조작을 함께 다루는 멀티모달 에이전트 기반 모델이다.

논문

Magma: A Foundation Model for Multimodal AI AgentsarXiv 2502.13130

개요

분류

자기회귀·잠재 액션 VLA

유형

VLA

발표

2025-02

기관

Microsoft Research·University of Maryland·UW–Madison·KAIST·University of Washington

가중치 공개

예

파라미터

8.6B(논문)/9B(HF 모델 카드)

구조

백본 LLM

LLaMA-3-8B

비전 인코더

ConvNeXt-XXlarge (CLIP)

액션 헤드

256 이산 토큰 (OpenVLA 방식) (이산 토큰)

청크

미공개

제어 주기

미공개

구조 원문 요약

LLaMA-3-8B + ConvNeXt-XXlarge(CLIP-ConvNeXt); 어휘 마지막 256개 이산 토큰으로 로봇 액션(OpenVLA 방식)

학습

사전학습 가속기

NVIDIA H100·AMD MI300(모델 카드), 수 미공개

사전학습 기간

미공개

사전학습 스텝·배치

최대 3 epochs, batch 1024, lr 1e-5, 최대 시퀀스 4096

GPU·TPU-시간

미공개

파인튜닝

미공개(학습 코드 2025-03-09 공개)

데이터 종류

실로봇 텔레옵 + 사람 영상 + 웹 비전-언어

데이터 규모

약 39M 샘플: 로봇 OXE 970K 궤적(9.4M 이미지-언어-액션), UI 2.7M, 영상 25M+(약 4M 클립), 이미지-텍스트 1.2M + Magma-SFT 820K

주요 데이터셋

OXE, SeeClick, Vision2UI, Ego4D, Something-Something v2, Epic-Kitchens, ShareGPT4V, LLaVA-1.5

태스크·평가

SimplerEnv 8과제(172개 시나리오); 실제 WidowX 4과제(과제당 약 50 궤적); LIBERO(과제당 10 궤적 파인튜닝, 스위트당 100회); UI: Mind2Web·AITW

로봇

WidowX, SimplerEnv·LIBERO 시뮬레이션, UI 에이전트

추론

추론 장치·속도

Magma-8B bf16 호출당 1.1 s·17 GB, 4-bit 1.1 s·7 GB(README, GPU 미기재)

추론 메모리

bf16 17 GB · 4-bit 7 GB (README)

가중치 bf16 (계산)

17.2 GB

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 멀티모달 사전학습(지도학습)

베이스 제어

고정 · 베이스 제어 없음 (팔만; UI 에이전트는 로봇 아님)

비고

핵심 특징

UI 내비게이션과 로봇 조작을 함께 다루는 멀티모달 에이전트 기반 모델이다. Set-of-Mark로 행동을 그라운딩하고 Trace-of-Mark로 영상에서 계획을 배운다.

비고

학습 하드웨어는 모델 카드에만 있고 논문에는 없다. 가중치 공개 2025-02-25. UI 에이전트 작업도 포함한다. 파라미터(B)는 논문 값 8.6B다.

검증

확인