VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

MolmoAct

Allen Institute for AI·University of Washington · 2025-08

VLA자기회귀·잠재 액션 VLA7B이산 토큰

깊이 인식과 시각 궤적을 거쳐 액션을 내는 '액션 추론 모델'이다.

논문

MolmoAct: Action Reasoning Models that can Reason in SpacearXiv 2508.07917

개요

분류

자기회귀·잠재 액션 VLA

유형

VLA

발표

2025-08

기관

Allen Institute for AI·University of Washington

가중치 공개

예

파라미터

7B(두 백본)

구조

백본 LLM

Qwen2.5-7B / OLMo2-7B

비전 인코더

SigLIP2 / OpenCLIP

액션 헤드

깊이 토큰 → 궤적 → 256-bin 토큰 (이산 토큰)

청크

8스텝

제어 주기

미공개

구조 원문 요약

SigLIP2+Qwen2.5-7B(7B-D) 또는 OpenCLIP+OLMo2-7B(7B-O); 깊이 토큰(코드북 128, 이미지당 100개) → 시각 궤적(최대 5점) → 256-bin 액션 토큰, 사후학습 청크 8

학습

사전학습 가속기

H100 256장(사전) + H100 128장(미드)

사전학습 기간

미공개(GPU-시간만 명시)

사전학습 스텝·배치

사전 100k steps·batch 512; 미드 50k steps·batch 128(논문)/256(README)

GPU·TPU-시간

9,728 (명시(약) · H100-시간 (Sec 4.1; Sec 2.2는 9,216))

파인튜닝

LoRA r=32, LIBERO 명령 GPU 64장(8노드×8), global batch 128, 40k–80k steps; 시간 미공개

데이터 종류

실로봇 텔레옵 + 시뮬레이션·합성(깊이·궤적 보조 주석) + 웹 비전-언어

데이터 규모

사전 26.3M 샘플(로봇 10.5M, 깊이 1.5M, 궤적 1.5M, 궤적 조건 10.5M, 웹 2M); 미드 MolmoAct Dataset 10,689 궤적·93과제

주요 데이터셋

RT-1(Fractal), BridgeData V2, BC-Z, MolmoAct Dataset

태스크·평가

SimplerEnv Google Robot 비주얼 매칭 제로샷 70.5%(파인 71.6%, 변형 집계 72.1%); LIBERO 86.6%; 실제 Franka 단일 팔 +10%·양팔 +22.7%(π0-FAST 대비)

로봇

Franka 단일 팔·양팔, Google 로봇(SimplerEnv), LIBERO 시뮬레이션

추론

추론 장치·속도

미공개

추론 메모리

미공개

가중치 bf16 (계산)

14 GB

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 깊이·궤적 추론 지도학습

베이스 제어

고정 · 베이스 제어 없음 (Franka 팔·시뮬)

비고

핵심 특징

깊이 인식과 시각 궤적을 거쳐 액션을 내는 '액션 추론 모델'이다. 가중치·데이터·학습 코드를 모두 공개했다.

비고

미드트레이닝 2,304 H100-시간은 GPU-시간 칸에서 뺐다(합치면 12,032). 논문 안에서 사전학습 GPU-시간이 9,728(Sec 4.1)과 9,216(Sec 2.2)으로 다르다. 자체 데이터는 상근 작업자 5명이 2개월간 수집했다.

검증

확인