InternVLA-M1

Shanghai AI Laboratory (Intern Robotics) · 2025-10

VLAFlow·Diffusion VLA약 4.1Bdiffusion

VLM이 먼저 핵심 물체 위치를 찾는 공간 grounding을 사전학습한 뒤 DiT 액션 전문가를 붙이는 이중 시스템이다.

논문

분류: Flow·Diffusion VLA
유형: VLA
발표: 2025-10
기관: Shanghai AI Laboratory (Intern Robotics)
가중치 공개: 예
파라미터: 약 4.1B; 확산 정책 86M, DINOv2 21M, 상태 인코더 0.4M, querying transformer 8.7 MB(원문 단위)

백본 LLM: Qwen2.5-3B · Qwen2.5-VL-3B 구성
비전 인코더: Qwen2.5-VL ViT + DINOv2 (21M)
액션 헤드: DiT 확산 전문가 86M (DDIM 10) (diffusion)
청크: 16 · 8 (LIBERO)
제어 주기: 미공개
구조 원문 요약: Qwen2.5-VL-3B-Instruct(System 2, 공간 프롬프팅) → querying transformer → DiT 확산 정책 액션 전문가(System 1, 86M; DINOv2 21M·상태 인코더 0.4M); 청크 16(SimplerEnv·실기)/8(LIBERO), DDIM 10스텝(README)

사전학습 가속기: Stage 1 미공개; Stage 2(행동 사후학습) A100×16
사전학습 기간: 미공개
사전학습 스텝·배치: Stage 2: 50k 스텝(약 2.5 에폭), 배치 로봇 256 + 멀티모달 64
GPU·TPU-시간: 미공개
파인튜닝: LIBERO A100×8·배치 128·약 30K 스텝·약 20 h; 대규모 pick-place·실기 A100×16·배치 256·20K 스텝; README: A100·RTX 4090 동작 확인
데이터 종류: 웹 비전-언어(공간 grounding) + 시뮬레이션·합성 + 실로봇 텔레옵
데이터 규모: 멀티모달 3M+(공간 grounding 2.3M + 멀티모달 이해 0.7M); 합성 InternData-M1 244K closed-loop 샘플(물체 14K, 테이블 211, 텍스처 1.6K, 조명 87); OXE; 실기 텔레옵 6 h + 장기 과제 22 h(과제당 약 500 시연)
주요 데이터셋: RefCOCO, RoboRef, A0 ManiSkill, MolmoAct, Pixmo-Points; InternData-M1; OXE(fractal_rt_1, bridge)
태스크·평가: SimplerEnv Google VM 80.7·VA 76.0, WidowX 71.7; LIBERO 95.9; 합성 대규모 pick-place; Franka FR3 실기 cluttered pick-place(미지 물체·새 배치 +20.6%), 장기 과제(정리·서랍·샌드위치)
로봇: Google Robot, WidowX, Franka FR3(단일 팔)

핵심 특징: VLM이 먼저 핵심 물체 위치를 찾는 공간 grounding을 사전학습한 뒤 DiT 액션 전문가를 붙이는 이중 시스템이다. 합성 데이터 244K로 미지 물체 실기 pick-place를 20.6% 개선했다.
비고: 세부 QA(약 637K·879K·684K·832K) 합은 2.3M과 맞지 않음(3M+ 묶음 전체에 걸친 값으로 보임). Stage 1·합성 데이터 생성 연산 미공개. 가중치는 README '0918' 공개(연도 미표기)라 발표월은 arXiv v1(2025-10-15) 기준. 데이터 시간은 실기 부분만 있어 null.
검증: 확인