VLA ギャラリー / モデル一覧 / モバイルマニピュレーション

Xiaomi-Robotics-1

Xiaomi (Xiaomi Robotics Team) · 2026-07

VLAモバイルマニピュレーション5.1Bflow matching

10万時間以上のUMI軌跡をVLM自動ラベル(シーン状態遷移の記述)で事前学習した後、約1万時間のクロスエンボディメントデータでロボット・指示文に整合させる2段階VLAである。

論文

Xiaomi-Robotics-1: Scaling Vision-Language-Action Models with over 100K Hours of Real-World TrajectoriesarXiv 2607.15330

概要

分類

モバイルマニピュレーション

タイプ

VLA

発表

2026-07

機関

Xiaomi (Xiaomi Robotics Team)

重み公開

あり

パラメータ

5.1B(5B公開版: VLM 4.4B + DiT 604M); 規模実験版 2.6B(2.1B+470M)・10.5B(8.8B+1.5B)

構造

バックボーンLLM

Qwen3-VL-4B-Instruct (5B公開版; 2B・10B版はVLM 2.1B・8.8B)

ビジョンエンコーダ

Qwen3-VL内蔵ビジョンエンコーダ

アクションヘッド

DiT flow matching(Euler 5ステップ、adaLN時間条件) + VLM Choice Policies補助回帰 (flow matching)

チャンク

30ステップ×60次元(公開コードの既定値; 論文にHの記載なし)

制御周期

非公開

構造の原文要約

Qwen3-VL(5B公開版はQwen3-VL-4B-Instruct) + 同じ層数の小さいhiddenのDiTをMixture-of-Transformersで結合 → VLM KV cache・固有受容感覚条件のflow matching(Euler 5ステップ) → 相対delta EE姿勢・グリッパ・腰・ベース速度チャンク(公開コード既定 30ステップ×60次元); VLMにはChoice Policies補助回帰(K候補・スコア)を学習

学習

事前学習アクセラレータ

非公開

事前学習期間

非公開(自動ラベリングだけで約2週間)

事前学習ステップ・バッチ

非公開

GPU・TPU時間

非公開

ファインチューニング

事後学習(約1万時間、VL:オープンソース:UMI指示:社内 = 0.5:0.5:0.5:8.5)のアクセラレータ・時間は非公開; ダウンストリーム4課題144時間(低データ36時間)でXiaomi-Robotics-0の非同期学習レシピを適用、GPU・ステップは非公開(公開デモconfig バッチ48)

データ種類

UMIハンドヘルドデモ / 実ロボットのテレオペレーション / オープンソースのロボットデータ / Webビジョン言語

データ規模

事前学習 UMI軌跡10万時間以上(規模実験は約2万時間の部分集合); 事後学習 約1万時間(社内ロボット7,200時間以上、指示ラベル付きUMI 1,000時間以上、Bridge V2・RT-1・DROID); ダウンストリーム144時間

主要データセット

社内UMIデータ(非公開); 社内モバイル・双腕ロボットデータ; Bridge V2; RT-1; DROID

タスク・評価

RoboCasa 74.5%; RoboCasa365 57.4%(本文序論では57.6%、A/B; 従来最高 ABot-M0.6 46.6%); VLABench 平均SR 59.1・PS 70.3・IS 69.9; RoboDojo スコア20.07・成功率13.93%; 実ロボット事後学習の即時評価4課題(未知環境) 2B 61%・5B 75%・10B 79%; ダウンストリーム4課題 低データ75%(π0.5 40%)・高データ85%(π0.5 53%)

ロボット

社内の車輪型双腕モバイルマニピュレータ(腰昇降)と固定双腕ロボット(機種名は記載なし); カメラ ego・左右手首の3台; シミュレーション RoboCasa・RoboCasa365・VLABench・RoboDojo

推論

推論デバイス・速度

flow matching 5ステップ Euler、非同期実行(action prefix)対応; 遅延・Hz・装置は記載なし(README「消費者向けGPUに最適化」)

推論メモリ

非公開

重み bf16(計算)

10.2 GB

実行場所

推論サーバ(GPU機種は記載なし) – クライアント構成、非同期実行

強化学習・ベース

強化学習

不使用 · 事前・事後学習・ファインチューニングすべて模倣学習(flow matching + Choice Policies回帰 + NTP); RLの言及なし

強化学習の根拠

https://arxiv.org/abs/2607.15330

ベース制御

車輪型 (ベース速度・姿勢を直接出力) · VLAが統合行動ベクトルにベース速度(3次元)と腰位置deltaをアームEE行動とともにチャンクとして直接出力

備考

主な特徴

10万時間以上のUMI軌跡をVLM自動ラベル(シーン状態遷移の記述)で事前学習した後、約1万時間のクロスエンボディメントデータでロボット・指示文に整合させる2段階VLAである。事前学習データ・モデル規模が大きいほど未知環境での即時性能が向上し、RoboCasa365 57.4%・RoboDojoスコア20.07で従来最高(46.6%・13.07)を上回った。

備考

事前学習の目標はflow matching + Choice Policies回帰 + 0.1×NTP(VL:UMI = 1:9); DiTはVLMの行動トークンKVを見ないよう遮断し、コピーの近道を防ぐ; 状態遷移キャプションはQwen3.5-27Bで自動生成; 客室単位で10分以上のスーツケース荷造りデモ; コード・チェックポイントは2026-08-03公開(Apache-2.0、HF Xiaomi-Robotics-1-5B model_states.pt 10.2 GB、ベンチマーク別RoboCasa・RoboCasa365・VLABenchチェックポイント)、2B・10Bは非公開、事前学習UMIデータは非公開; arXiv v2 2026-07-22。前作: Xiaomi-Robotics-0 (arXiv 2602.12684) — 非同期学習レシピとVLデータを継承(論文に明記)

検証

確認