01 · 推論リソース
推論に必要なリソース
GPUメモリ
重み(パラメータ × 精度バイト)に活性値・KVキャッシュ・画像トークンが加わる。報告値はbf16重みの計算値と同じか、最大約4 GB大きい。
レイテンシ
VLMの順伝播にアクション生成が加わる。自己回帰トークンはトークン数に比例し(π0-FASTでチャンクあたり約750 ms)、flow・diffusionヘッドはデノイジングステップ数に比例する(π0の10ステップで73 ms)。
制御周波数
アクションチャンクを一度に出力して分割実行し、推論周期より速く制御する。π0は73 msの推論で最大50 Hz、GR00T N1は120 Hz、Helix S1は200 Hz。
実行場所
ロボット搭載(Jetson・組込みGPU)、ロボット横のPC(RTX 4090)、リモートサーバー(A100・H100)、クラウド(TPU・Gemini API)に分かれる。大きなVLMはサーバーに、高速な制御器はロボットに置く。
出典: 各モデルの論文・README・モデルカードの報告値(カードの「推論メモリ」)。線は計算値で、活性値・KVキャッシュは含まない。
デバイス区分別の報告推論速度
02 · メモリ計算機
このモデルを動かすのに必要なGPUメモリ
モデルを選ぶかパラメータ数を入力すると、精度別の重みメモリを計算し、報告された実測値と代表的なデバイスのメモリを併せて表示する。
03 · 手元のデバイス
このデバイスで実用的な速度で動くモデル
デバイス、精度、必要な推論速度を選ぶと、メモリに載りその速度を出せると見込まれるモデルを選び出す。トークン型VLAは1行動に複数トークンを出す必要があるため「トークン速度 ÷ 行動あたりトークン数」が推論速度になり、flow・diffusionモデルはバックボーン1回とデノイジング複数回を合わせた時間が推論1回となる。
デバイス仕様と出典
04 · バックボーンLLM
VLAのバックボーンLLM
バックボーンLLMの系列が確認されたモデルのみ数える。「構成」表示は、論文がVLM名のみを明かしており、そのVLMの公開構成からLLMを記載したケース。
系列別のモデルとバックボーン
05 · 強化学習
強化学習をどこに使ったか
「使用」はモデル自体をRLで学習・改善したケース、「一部」は下位制御器・RL生成データ・報酬・価値モデルなどシステムの一部にのみRLを使ったケース。根拠は論文・公式ブログの記述で、学習過程を明かしていないモデルは非公開とした。
VLAのRL事後学習
模倣学習したVLA・方策をRLでさらに改善する。マニピュレーションではπ*0.6(RECAP)・GR-RL・SyVLA・GEN-1、ナビゲーションではVLN-R1・ABot-N0・LightNav-0(GRPO系)とVLingNav・TIC-VLA・RING・COMPASS(PPO系)、四足VLAではMoRE(オフラインRL)が該当する。
RL制御器の学習
ヒューマノイド全身制御器と四足loco-manipulation制御器(VBC・RoboDuet・SLIM)をシミュレーションでPPOなどにより学習し、生徒方策へ蒸留する。GPU 1枚で1~4日が一般的で、SONICはGPU 128枚を使った。
RL下位制御器との結合
VLAは模倣学習のままとし、歩行・全身の実行はRL制御器に任せる。GR00T N1.5・N1.6(Decoupled WBC)、Helix・Helix 02、Ψ0、WholeBodyVLAと、歩行ロボットVLAのQUAR-VLA・NaVILAが該当する。
データ・報酬・価値
RL方策が生成したデータで学習するか(π0.7、Rho-alpha、AC-DiT、CrossFormer)、報酬モデル・DPO・価値予測を学習に組み込む(DYNA-1、NORA-1.5、Cosmos Policy)。
06 · モバイルベース
モバイルベースをどう動かすか
車輪型モバイルマニピュレーション
π0・π0.5・Mobile ALOHA・BRS・AC-DiT・PanoVLAは、ベース速度(線速度・角速度またはx・y・yaw)を腕の行動とともに1つの方策から直接出力する。MoManipVLAは例外で、固定ベース用VLAはそのままにし、ベース位置を最適化で決める。
ナビゲーションVA・VLA
大半は相対ウェイポイントを数個出力し、PD・MPC・pure pursuit制御器が速度指令に変換する(ViNT・NoMaD・NavFoM・InternVLA-N1・TrackVLA・ABot-N0)。VLMベースのモデルは、VLN-CEベンチマーク方式どおり「25 cm前進・15°/30°回転・停止」のような離散行動をテキストで出力するもの(NaVid・Uni-NaVid・StreamVLN・FutureNav)と、ウェイポイントを出力するもの(NavFoM・InternVLA-N1・ABot-N0・LightNav-0)に分かれる。
四足歩行
四足モバイルマニピュレーションでは、VLAや高レベル方策が胴体の速度・姿勢指令のみを出し、脚関節はシミュレーションRLで学習した歩行制御器が担う(QUAR-VLA・MoREのWalk These Ways、VBC、SLIM、UMI on Legs)。四足ナビゲーションモデルの大半はウェイポイントや速度指令のみを出してロボット内蔵の歩行制御器が追従し、NaVILAはRL歩行方策を自ら学習して組み合わせた。模倣学習方策が脚関節まで直接出力する例はCrossFormer(Go1)のみ。
ヒューマノイド歩行
VLAが歩行指令(vx・vy・yaw)や潜在行動を出し、RLで学習した全身制御器が脚を動かす階層構造が標準(GR00T N1.6・N1.7、WholeBodyVLA、Ψ0、OpenHLM、ω-0)。Atlas LBMは足の姿勢を出してMPCで実行し、Gemini Robotics 2は別個の歩行制御器を明かしていない。
セルの数字はその方式でその種類のベースを動かしたモデル数で、色が濃いほど多い。1モデルが複数種類を動かす場合はセルごとに数える。「その他」は飛行ロボットとシミュレーションでのみベースを動かしたケース。分類根拠は各論文・公式文書の行動空間の記述で、カードの「ベース制御」項目に1行で記載した。
07 · 2モデル比較
2モデルを並べて見る
カードの「比較A」・「比較B」ボタンか下のリストでモデルを選ぶと、構成図と仕様を並べて表示する。値が同じ行は薄く表示する。
08 · ギャラリー
モデルギャラリー
分類・発表時期・サイズ・バックボーンLLM・アクションヘッド・推論情報・論文の有無・ベース種類で絞り込む。カード上部の論文タイトルを押すとarXiv原文が開き、「詳細」でタスク・データ・学習設定を確認できる。
条件に合うモデルがない。フィルターをリセットしてください。