VLA 갤러리 / 모델 목록 / 모바일 매니퓰레이션

Xiaomi-Robotics-1

Xiaomi (Xiaomi Robotics Team) · 2026-07

VLA모바일 매니퓰레이션5.1Bflow matching

10만 시간 이상의 UMI 궤적을 VLM 자동 라벨(장면 상태 전이 서술)로 사전학습한 뒤 약 1만 시간 교차 엠바디먼트 데이터로 로봇·명령문에 정렬하는 2단계 VLA다.

논문

Xiaomi-Robotics-1: Scaling Vision-Language-Action Models with over 100K Hours of Real-World TrajectoriesarXiv 2607.15330

개요

분류

모바일 매니퓰레이션

유형

VLA

발표

2026-07

기관

Xiaomi (Xiaomi Robotics Team)

가중치 공개

예

파라미터

5.1B(5B 공개판: VLM 4.4B + DiT 604M); 규모 실험판 2.6B(2.1B+470M)·10.5B(8.8B+1.5B)

구조

백본 LLM

Qwen3-VL-4B-Instruct (5B 공개판; 2B·10B판은 VLM 2.1B·8.8B)

비전 인코더

Qwen3-VL 내장 비전 인코더

액션 헤드

DiT flow matching(Euler 5스텝, adaLN 시간 조건) + VLM Choice Policies 보조 회귀 (flow matching)

청크

30스텝×60차원(공개 코드 기본값; 논문 H 미기재)

제어 주기

미공개

구조 원문 요약

Qwen3-VL(5B 공개판은 Qwen3-VL-4B-Instruct) + 같은 층 수의 작은 hidden DiT를 Mixture-of-Transformers로 결합 → VLM KV cache·고유감각 조건 flow matching(Euler 5스텝) → 상대 delta EE 자세·그리퍼·허리·베이스 속도 청크(공개 코드 기본 30스텝×60차원); VLM에는 Choice Policies 보조 회귀(K 후보·점수) 학습

학습

사전학습 가속기

미공개

사전학습 기간

미공개(자동 라벨링만 약 2주)

사전학습 스텝·배치

미공개

GPU·TPU-시간

미공개

파인튜닝

사후학습(약 1만 시간, VL:오픈소스:UMI 지시:사내 = 0.5:0.5:0.5:8.5) 가속기·시간 미공개; 다운스트림 4과제 144시간(저데이터 36시간)으로 Xiaomi-Robotics-0 비동기 학습 레시피 적용, GPU·스텝 미공개(공개 데모 config 배치 48)

데이터 종류

UMI 핸드헬드 시연 / 실로봇 텔레옵 / 오픈소스 로봇 데이터 / 웹 비전-언어

데이터 규모

사전학습 UMI 궤적 10만 시간 이상(규모 실험은 약 2만 시간 부분집합); 사후학습 약 1만 시간(사내 로봇 7,200시간 이상, 지시 라벨 UMI 1,000시간 이상, Bridge V2·RT-1·DROID); 다운스트림 144시간

주요 데이터셋

사내 UMI 데이터(비공개); 사내 모바일·양팔 로봇 데이터; Bridge V2; RT-1; DROID

태스크·평가

RoboCasa 74.5%; RoboCasa365 57.4%(본문 서론 57.6%, A/B; 이전 최고 ABot-M0.6 46.6%); VLABench 평균 SR 59.1·PS 70.3·IS 69.9; RoboDojo 점수 20.07·성공률 13.93%; 실로봇 사후학습 즉시 평가 4과제(미지 환경) 2B 61%·5B 75%·10B 79%; 다운스트림 4과제 저데이터 75%(π0.5 40%)·고데이터 85%(π0.5 53%)

로봇

사내 바퀴형 양팔 모바일 매니퓰레이터(허리 승강)와 고정 양팔 로봇(기종명 미기재); 카메라 ego·좌우 손목 3개; 시뮬 RoboCasa·RoboCasa365·VLABench·RoboDojo

추론

추론 장치·속도

flow matching 5스텝 Euler, 비동기 실행(action prefix) 지원; 지연·Hz·장치 미기재(README '소비자 GPU 최적화')

추론 메모리

미공개

가중치 bf16 (계산)

10.2 GB

실행 위치

추론 서버(GPU 기종 미기재) – 클라이언트 구조, 비동기 실행

강화학습 · 베이스

강화학습

미사용 · 사전·사후학습·파인튜닝 모두 모방학습(flow matching + Choice Policies 회귀 + NTP); RL 언급 없음

강화학습 근거

https://arxiv.org/abs/2607.15330

베이스 제어

바퀴형 (베이스 속도·자세 직접 출력) · VLA가 통합 행동 벡터에 베이스 속도(3차원)와 허리 위치 delta를 팔 EE 행동과 함께 청크로 직접 출력

비고

핵심 특징

10만 시간 이상의 UMI 궤적을 VLM 자동 라벨(장면 상태 전이 서술)로 사전학습한 뒤 약 1만 시간 교차 엠바디먼트 데이터로 로봇·명령문에 정렬하는 2단계 VLA다. 사전학습 데이터·모델 규모가 커질수록 미지 환경 즉시 성능이 오르며, RoboCasa365 57.4%·RoboDojo 점수 20.07로 기존 최고(46.6%·13.07)를 넘었다.

비고

사전학습 목표는 flow matching + Choice Policies 회귀 + 0.1×NTP(VL:UMI = 1:9); DiT는 VLM의 행동 토큰 KV를 보지 않게 막아 복사 지름길을 차단; 상태 전이 캡션은 Qwen3.5-27B로 자동 생성; 객실 단위 10분 이상 여행가방 꾸리기 시연; 코드·체크포인트 2026-08-03 공개(Apache-2.0, HF Xiaomi-Robotics-1-5B model_states.pt 10.2 GB, 벤치마크별 RoboCasa·RoboCasa365·VLABench 체크포인트), 2B·10B 미공개, 사전학습 UMI 데이터 미공개; arXiv v2 2026-07-22. 전작: Xiaomi-Robotics-0 (arXiv 2602.12684) — 비동기 학습 레시피와 VL 데이터를 이어받음(논문 명시)

검증

확인