Hi Robot

Physical Intelligence, Stanford, UC Berkeley · 2025-02

VLAπシリーズ上位 PaliGemma-3B + 下位 π0 3.3Bflow matching

上位VLMがユーザープロンプトと途中介入を1~3秒のスキル単位の言語命令に変換し、下位のπ0が実行する階層型システムである。

論文

バックボーンLLM: Gemma 2B × 2 (上位・下位、PaliGemma構成)
ビジョンエンコーダ: SigLIP 400M
アクションヘッド: π0 flow matchingエキスパート (flow matching)
チャンク: 非公開
制御周期: 非公開
構造の原文要約: 上位: PaliGemma-3B VLM(言語命令を出力、1秒ごとまたはユーザー介入時に再実行); 下位: π0(PaliGemma-3B + flow matchingアクションエキスパート)

事前学習アクセラレータ: 該当なし(PaliGemma-3B・π0初期化を再利用)
事前学習期間: 該当なし
事前学習ステップ・バッチ: 該当なし
GPU・TPU時間: 非公開
ファインチューニング: 上位方策 H100×8 約2 h、バッチ512、lr 1×10⁻⁵(1,000ステップのウォームアップ); 下位方策の時間は非公開
データ種類: 実ロボットのテレオペレーション(1~3秒のスキルに分割) + VLM生成の合成言語データ(プロンプト・介入)
データ規模: 非公開(時間・エピソード・合成例の数すべて)
主要データセット: 独自のテレオペレーションデモ(名称非公開)
タスク・評価: Table bussing、サンドイッチ作り(材料最大6個)、買い物; タスク・手法あたり20 trials; GPT-4o上位方策比で指示精度が平均40%以上高い
ロボット: UR5e(6-DoF、平行グリッパー)、双腕ARX(6-DoF×2)、モバイルARX(Mobile ALOHA)

推論デバイス・速度: RTX 4090 1~2枚; 下位は搭載73 ms・リモート(WiFi) 86 ms; 上位はRTX 4090 47 ms(prefill) + 13.2 ms(decode)、H100 17.3 + 5.7 ms
推論メモリ: 非公開
重み bf16(計算): 非公開
実行場所: ローカルPC

強化学習: 不使用 · 教師あり学習(合成インタラクションデータを含む)
ベース制御: 車輪型 (ベース速度・姿勢を直接出力) · 下位π0方策の出力にモバイルARXベース2次元を含む (grocery shopping); 上位VLMは言語指令のみ

主な特徴: 上位VLMがユーザープロンプトと途中介入を1~3秒のスキル単位の言語命令に変換し、下位のπ0が実行する階層型システムである。上位方策はVLMが合成したユーザーインタラクションデータで学習した。
備考: 学習演算・推論の詳細はarXiv v2(2025-07-15)にのみある。合成データ生成VLMの名称は非公開。パラメータ(B)はシステム総計が非公開のためnull。
検証: 修正反映