π0-FAST (FAST 토크나이저)

Physical Intelligence, UC Berkeley, Stanford · 2025-01

VLAπシリーズ3B離散トークン

アクションチャンクをDCTとBPEで圧縮し、高周波の連続制御を自己回帰トークンとして学習できるようにした。

論文

バックボーンLLM: Gemma 2B · PaliGemma 3B 構成
ビジョンエンコーダ: SigLIP 400M
アクションヘッド: FASTトークン自己回帰 (語彙1024) (離散トークン)
チャンク: 1秒 (DROID 15ステップ)
制御周期: 5–50 Hz (課題別)
構造の原文要約: PaliGemma-3B、アクションエキスパートなし; FAST離散アクショントークン(DCT+BPE、rounding 10、語彙1024)の自己回帰デコーディング、1秒チャンク(DROID 15ステップ)、評価5~50 Hz

事前学習アクセラレータ: 汎用モデルは非公開; DROID単独方策(PaliGemmaから) H100×8
事前学習期間: 汎用モデルは非公開(π0比でGPU時間が5倍少ない); DROID単独方策は約4日
事前学習ステップ・バッチ: 汎用モデルは非公開; DROID単独方策 240k iter・バッチ 256(3 エポック)
GPU・TPU時間: 非公開
ファインチューニング: openpi pi0_fast_full_droid_finetune: H100×8で約2日、100kステップ・バッチ256; pi0_fast_libero 30kステップ(LoRA版も同じ)。LeRobot LIBERO: H100×8、40kステップ・バッチ256(二次情報)
データ種類: 実ロボットのテレオペレーション
データ規模: ロボットデータ 10k h; FAST+トークナイザ 1秒チャンク約100万個(本文)/1M 軌跡(要旨); DROID 75k エピソード・21M サンプル; LIBERO 270k サンプル
主要データセット: PI独自データ(903M timesteps)、BRIDGE v2、DROID、OXE(混合の9.1%)
タスク・評価: Table bussing(UR5、20 Hz)、T-shirt folding(双腕ARX、50 Hz)、Grocery bagging、Toast(双腕Trossen、50 Hz)、Laundry folding; DROIDゼロショット16タスク・44 trials(3キャンパス); openpi LIBERO 96.4/96.8/88.6/60.2、平均85.5
ロボット: UR5/UR5e、双腕ARX、双腕Trossen、DROID Franka; FAST+学習: ARX、AgileX、Fibocom Mobile、Franka FR3、UR5、Trossen、Mobile Trossen

推論デバイス・速度: RTX 4090でチャンクあたり約750 ms(アクショントークン30~60個をデコーディング); π0は同じGPUで100 ms以内
推論メモリ: > 8 GB (openpi README共通)
重み bf16(計算): 6 GB
実行場所: ローカルPC

主な特徴: アクションチャンクをDCTとBPEで圧縮し、高周波の連続制御を自己回帰トークンとして学習できるようにした。π0比で学習GPU時間を5分の1にしたが、チャンク推論は約750 msと遅い。
備考: 圧縮率 BridgeV2 1.75×、DROID 3.6×、Bussing 5.0×、T-shirt 13.2×。FAST+トークナイザーはHFでApache-2.0公開。openpi pi0_fast_droidのデフォルトhorizonは10で、論文のDROID 15ステップと異なる。openpi README_trainの'約5日'(PaliGemmaから240k iter)はpi05_full_droid_finetune基準。
検証: 修正反映