MolmoAct 2

Allen Institute for AI (Ai2) · 2026-05

VLA2026 신규5Bflow matching

행동 추론 모델로, Think 변형은 적응 깊이 추론 토큰을 쓴다.

논문

백본 LLM: Molmo2-4B 내 LLM (미기재) · Molmo2-ER
비전 인코더: —
액션 헤드: DiT형 flow 전문가 (층별 KV) (flow matching)
청크: 미공개
제어 주기: 미공개
구조 원문 요약: Molmo2-ER 체화 추론 VLM(Molmo2-4B 중간학습 체크포인트에서 시작) + 층별 KV 조건화 DiT형 플로 매칭 액션 전문가(백본과 같은 층 수); OpenFAST 토크나이저

사전학습 가속기: H100 64개 (Molmo2-ER: 2노드 × H100 8개)
사전학습 기간: 미공개 (GPU-시간으로만 명시)
사전학습 스텝·배치: 200K steps, 글로벌 배치 128, 최대 시퀀스 4200; Molmo2-ER 1단계 20K + 1.5K steps
GPU·TPU-시간: 5,760 (명시 · H100-시간 (약 5,760))
파인튜닝: GPU-시간 미공개
데이터 종류: 실로봇 텔레옵 + 웹 비전-언어(체화 추론 VQA)
데이터 규모: 사후학습 세트: BimanualYAM 시연 34.5k·720시간 이상, SO-100/101 38,059 에피소드·19.8M 프레임·약 184시간, DROID 74,604 에피소드·17,758,044 프레임; MolmoER 3.3M 샘플; 사전학습 총량 미공개(로봇 90%·멀티모달 10%)
주요 데이터셋: BimanualYAM, SO-100/101, DROID, MolmoER
태스크·평가: LIBERO 97.2%(Think 98.1%); MolmoBot 20.6%(π0.5 10.3%); RoboEval 0.443; 실세계 제로샷 Franka 87.1%(π0.5 45.2%); Cortex AI 0.51; Molmo2-ER 13개 벤치마크 평균 63.8
로봇: Franka, 양팔 YAM, SO-100/101

추론 장치·속도: LIBERO 단일 H100 기본 180 ms, 적응 깊이 추론 790 ms(MolmoAct 6,700 ms); bf16 약 12 GB
추론 메모리: bf16 약 12 GB (H100)
가중치 bf16 (계산): 10 GB
실행 위치: 미공개

핵심 특징: 행동 추론 모델로, Think 변형은 적응 깊이 추론 토큰을 쓴다. 가중치·코드·데이터를 공개했고 실세계 제로샷 Franka에서 87.1%를 보고했다.
비고: 수정 반영: 라이선스 Apache 2.0(README). arXiv v1 2026-05-04, Ai2 블로그·README 2026-05-05, 사전·사후학습 코드 2026-06-13 공개. 데이터 시간(h)은 사전학습 총량 미공개라 비움.
검증: 수정 반영