VLA ギャラリー / モデル一覧 / 2026年の新モデル

τ0-VLA (tau-0)

Shanghai Innovation Institute·Agibot Finch·CUHK · 2026-08

VLA2026年の新モデル約3.0Bflow matching

実行メモリを持つ上位方策がworld modelで候補サブタスクの結果映像を予測し、価値モデルで評価してビーム探索するtest-time computation階層型VLAである。

論文

τ0-VLA: a Hierarchical Robot Foundation Model with World-Model-Guided Test-Time ComputationarXiv 2608.16885

概要

分類

2026年の新モデル

タイプ

VLA

発表

2026-08

機関

Shanghai Innovation Institute·Agibot Finch·CUHK

重み公開

あり

パラメータ

約3.0B(下位方策、HF safetensors BF16 3,015,404,136; バックボーン Qwen3.5-2B); 上位方策はQwen3.5-9Bベースのモデル3個 + Step1X-Edit world model、システム総計は記載なし

構造

バックボーンLLM

Qwen3.5-2B (下位方策VLM; 上位方策はQwen3.5-9B)

ビジョンエンコーダ

Qwen3.5-2B内蔵ビジョン(多視点RGB)

アクションヘッド

MoT行動エキスパートによる条件付きflow matching(マスク適用、Euler 10ステップ) → 40次元チャンク (flow matching)

チャンク

30ステップ × 40次元 (LIBEROチェックポイントは10、8を実行)

制御周期

約30 Hz制御ループ (上位はサブタスクを約1秒ごとに更新)

構造の原文要約

Qwen3.5-2B VLM + Mixture-of-Transformers行動エキスパート(層別共同アテンション) → 条件付きflow matching(マスク適用、Euler 10ステップ) → 40次元の統合状態・行動(EEF Rot6D・グリッパ・腰・平面ベース速度・アーム関節)チャンク H=30、約30 Hz制御; 上位方策(Qwen3.5-9B提案・価値・反省モデル + Step1X-Edit world model)がサブタスクの言語指令を生成

学習

事前学習アクセラレータ

非公開

事前学習期間

非公開

事前学習ステップ・バッチ

非公開

GPU・TPU時間

非公開

ファインチューニング

第3段階の課題別ファインチューニング(課題別の少量デモ)はアクセラレータ・時間非公開; LIBEROチェックポイントは60,000ステップの事後学習(GPU記載なし); 公開サンプルconfigはbf16・DeepSpeed ZeRO-1・lr 2e-5・1,000ステップ

データ種類

実ロボットのテレオペレーション / 自律方策ロールアウト / UMIデータ / マルチモーダルVL共同学習

データ規模

40,115時間(内部 約23.4K時間: AGIBOT G1 21.9K・G2 585・ARX AC One 578・Franka 347; 公開データ 約16.7K時間、うちオープンソースUMI 9.25K) + マルチモーダルVLデータ(規模は記載なし)

主要データセット

内部AGIBOT G1/G2・ARX・Frankaデモ; オープンソースUMIデータ; その他公開ロボットデータセット(名称は記載なし)

タスク・評価

実環境の長期課題4種(課題あたり10回、AGIBOT G1): 平均SR 27.5%・進捗率80.1%、階層(Plan Once) 45.0%・87.85%; ベースライン π0.5 22.5%、GR00T N1.7 2.5%、LingBot-VLA 0.0%; TTCでMake Milk Tea 5→7/10、Book Organization 6→9/10、Clean Room 5→7/10; Collect Laundry 10/10(π0.5 9/10); LIBERO 平均97.35%(README)

ロボット

AGIBOT G1(車輪型ヒューマノイド、全方向4輪操舵ベース、7-DoF双腕・平行グリッパ); ARX AC One(6-DoF X5双腕); Franka Research 3双腕(7-DoF 2台); 学習にAGIBOT G2・UMIデータを含む

推論

推論デバイス・速度

下位方策が約30 Hz制御ループでチャンクを実行、上位方策は非同期ワーカーが約1秒ごとにサブタスクを更新; 推論GPU・遅延は記載なし(LIBERO例のサーバ環境 RTX 4090、10行動予測のうち8を実行)

推論メモリ

非公開

重み bf16(計算)

6 GB

実行場所

推論GPUは記載なし (LIBERO例のサーバはRTX 4090)

強化学習・ベース

強化学習

不使用 · 論文・モデルカードに強化学習使用の言及なし; 下位方策はflow matching模倣学習、上位モデルは教師ありファインチューニング、学習データに自律方策ロールアウトを含む

ベース制御

車輪型 (ベース速度・姿勢を直接出力) · 40次元の統合行動に平面ベース速度2次元(23–24)を含む → AGIBOT G1の全方向車輪ベースを方策が直接駆動(Clean Room・Collect Laundryなど); ARX・Franka課題はベースなし

備考

主な特徴

実行メモリを持つ上位方策がworld modelで候補サブタスクの結果映像を予測し、価値モデルで評価してビーム探索するtest-time computation階層型VLAである。40,115時間の実データで学習した下位方策が長期課題4種で平均SR 27.5%(π0.5 22.5%)を出し、階層システム(Plan Once)は45.0%まで高めた。

備考

下位方策の3段階学習(KI共同学習 → エンドツーエンド共同学習 → 課題別適応); 上位データのラベリングにGemma4-31B-itを使用; 公開HF重みは下位の事前学習方策(ゼロショット制御器ではなく事後学習用)、上位のProposal・World Modelは別途公開(2026-09); HF公開 2026-07-27、arXiv v1 2026-08-17; コード・重み Apache-2.0、サンプルデータ CC BY-NC-SA 4.0

検証

確認