VLA ギャラリー / モデル一覧 / πシリーズ

π0.5

Physical Intelligence · 2025-04

VLAπシリーズ総計は非公開flow matching

一つのモデルがサブタスクテキストを先に予測してからアクションを出し、Web・複数ロボット・サブタスク注釈データと共同学習する。

論文

π0.5: a Vision-Language-Action Model with Open-World GeneralizationarXiv 2504.16054

概要

分類

πシリーズ

タイプ

VLA

発表

2025-04

機関

Physical Intelligence

重み公開

一部

パラメータ

総計は非公開; VLM 2B(付録E)、Fig. 3 'SigLIP (400M) + Gemma (2B)'(事前学習†)/'SigLIP (400M) + Gemma (2.6B)'(事後学習†); アクション専門家300M

構造

バックボーンLLM

Gemma 2B · PaliGemma構成 2B VLM

ビジョンエンコーダ

SigLIP 400M

アクションヘッド

flow matchingエキスパート300M (事前学習はFASTトークン) (flow matching)

チャンク

50ステップ

制御周期

50 Hz

構造の原文要約

PaliGemmaで初期化した2B VLM + 300Mアクションエキスパート; 事前学習はFAST離散トークン、事後学習でflow matchingの連続チャンクを追加(horizon 50、50 Hz、denoising 10ステップ、α=10.0)

学習

事前学習アクセラレータ

非公開

事前学習期間

非公開

事前学習ステップ・バッチ

離散トークン280kステップ + 事後学習80kステップ / バッチ非公開

GPU・TPU時間

非公開

ファインチューニング

論文は非公開。openpi pi05_full_droid_finetune: H100×8 約2日、100k ステップ・バッチ 256(約1 エポック)、PaliGemmaから240k iterなら約5日; pi05_libero 30k ステップ・バッチ 256(時間は非公開)。LeRobot: 80 GB GPU 1枚、バッチ 64・30k ステップ(二次情報)

データ種類

実ロボットのテレオペレーション + Web視覚言語 + 言語指示付きデモ・サブタスクアノテーション

データ規模

モバイルマニピュレーション 約400 h・約100世帯; 第1段階学習例の97.6%が非モバイルデータ; 言語指示(VI)デモは上位モバイル例の約11%; openpi pi05_baseはロボットデータ 10k+ h

主要データセット

PI独自のMM・ME・CEデータ、OXE; CapsFusion, COCO, Cambrian-7M, PixMo, VQAv2

タスク・評価

学習になかった実際の家庭3か所 + 模擬家庭; キッチン・寝室の片付け(シンクの皿洗い、引き出し整理、洗濯かご、ベッドメイキング)、10~15分のタスク、タスクあたり10回; 学習場所3・12・22・53・82・104か所でスケーリング; openpi LIBERO 98.8/98.2/98.0/92.4、平均96.85

ロボット

家庭用モバイルマニピュレータ(アーム・グリッパー・胴体リフト目標姿勢 + ベース速度、50 Hz) + 非モバイル・クロスエンボディメントロボット

推論

推論デバイス・速度

論文は非公開; RTC論文: RTX 4090、denoising 5ステップでモデル遅延 76 ms

推論メモリ

> 8 GB (openpi README共通)

重み bf16(計算)

非公開

実行場所

非公開

強化学習・ベース

強化学習

不使用 · Web・複数ロボット・サブタスクの共同教師あり学習

ベース制御

車輪型 (ベース速度・姿勢を直接出力) · 方策がベース目標速度(並進速度2D・角速度1D)を50 Hzチャンクで直接出力 (操作・ナビゲーションをend-to-end)

備考

主な特徴

一つのモデルがサブタスクテキストを先に予測してからアクションを出し、Web・複数ロボット・サブタスク注釈データと共同学習する。学習になかった実際の家庭3か所で10~15分の片付けタスクを遂行した。

備考

データ時間(h)はopenpi READMEのpi05_base '10k+ hours'(下限)の値; 論文はモバイル部分の約400 hのみ明示。付録Eのnum_heads=18はopenpi gemma_2bの8と異なる。付録の'action horizon of 50, i.e. H = 49'は原文のまま。openpi π0.5(2025-09 公開)はKIで学習されており論文のレシピと異なる可能性があり、flowヘッドのみ対応。

検証

確認