01 · 推理资源
推理所需资源
GPU显存
权重(参数 × 精度字节数)之外还需加上激活值·KV 缓存·图像token。报告值等于 bf16 权重计算值或最多大出约 4 GB。
延迟
VLM 前向传播之后还要加上动作生成。自回归token按token数计时(π0-FAST 每个动作块约 750 ms),flow·diffusion 头按去噪步数计时(π0 10步 73 ms)。
控制频率
一次输出整个动作块再分步执行,控制频率因此高于推理频率。π0 推理 73 ms,最高 50 Hz;GR00T N1 为 120 Hz;Helix S1 为 200 Hz。
运行位置
分为机器人机载(Jetson·嵌入式GPU)、机器人旁PC(RTX 4090)、远程服务器(A100·H100)和云端(TPU·Gemini API)。大型 VLM 放在服务器上,快速控制器放在机器人上。
来源:各模型论文·README·模型卡的报告值(卡片中的‘推理显存’)。线为计算值,不含激活值·KV 缓存。
按设备等级划分的已报告推理速度
02 · 显存计算器
运行这个模型需要多少GPU显存
选择模型或输入参数量,即可计算各精度下的权重显存,并同时显示已报告的实测值和代表性设备的显存。
03 · 我的设备
能在这台设备上以可用速度运行的模型
选择设备、精度和所需推理速度,即可筛出能装进显存并可能达到该速度的模型。token型 VLA 每个动作要输出多个token,推理速度为‘token速度 ÷ 每个动作的token数’;flow·diffusion 模型的单次推理时间为主干1次加多次去噪的时间之和。
设备规格与来源
04 · 主干LLM
VLA 的主干LLM
只统计主干LLM系列已确认的模型。标有‘配置’的,是论文只给出 VLM 名称、从该 VLM 的公开配置中注明 LLM 的情况。
各系列模型与主干
05 · 强化学习
强化学习用在哪里
‘使用’指模型本身用 RL 训练·改进;‘部分’指只在系统的一部分用 RL,如底层控制器·RL 生成数据·奖励·价值模型。依据为论文·官方博客原文,未说明训练过程的模型记为未公开。
VLA RL后训练
用 RL 对经模仿学习得到的 VLA·策略再改进一次。操作类有 π*0.6(RECAP)·GR-RL·SyVLA·GEN-1,导航类有 VLN-R1·ABot-N0·LightNav-0(GRPO 系)和 VLingNav·TIC-VLA·RING·COMPASS(PPO 系),四足 VLA 有 MoRE(离线 RL)。
RL控制器训练
人形机器人全身控制器和四足 loco-manipulation 控制器(VBC·RoboDuet·SLIM)在仿真中用 PPO 等训练,再蒸馏为学生策略。单张 GPU 1~4 天很常见,SONIC 用了 128 张 GPU。
结合RL底层控制器
VLA 仍用模仿学习,行走·全身执行交给 RL 控制器。包括 GR00T N1.5·N1.6(Decoupled WBC)、Helix·Helix 02、Ψ0、WholeBodyVLA,以及足式机器人 VLA QUAR-VLA·NaVILA。
数据·奖励·价值
用 RL 策略生成的数据训练(π0.7、Rho-alpha、AC-DiT、CrossFormer),或将奖励模型·DPO·价值预测纳入训练(DYNA-1、NORA-1.5、Cosmos Policy)。
06 · 移动底盘
移动底盘如何驱动
轮式移动操作
π0·π0.5·Mobile ALOHA·BRS·AC-DiT·PanoVLA 在同一策略中把底盘速度(线速度·角速度或 x·y·yaw)与手臂动作一起直接输出。MoManipVLA 是例外:保留固定底盘用的 VLA 不变,用优化确定底盘位置。
导航 VA·VLA
大多输出若干相对航点,再由 PD·MPC·pure pursuit 控制器转换成速度指令(ViNT·NoMaD·NavFoM·InternVLA-N1·TrackVLA·ABot-N0)。基于 VLM 的模型分两类:按 VLN-CE 基准的方式以文本输出‘前进 25 cm·旋转 15°/30°·停止’等离散动作(NaVid·Uni-NaVid·StreamVLN·FutureNav),或输出航点(NavFoM·InternVLA-N1·ABot-N0·LightNav-0)。
四足
四足移动操作中,VLA 或高层策略只输出机身速度·姿态指令,腿部关节由仿真 RL 训练的行走控制器负责(QUAR-VLA·MoRE 的 Walk These Ways、VBC、SLIM、UMI on Legs)。四足导航模型大多只输出航点或速度指令,由机器人内置的行走控制器跟踪;NaVILA 则直接训练了 RL 行走策略并接入。模仿学习策略直接输出到腿部关节的只有 CrossFormer(Go1) 一例。
人形双足
标准做法是分层结构:VLA 输出行走指令(vx·vy·yaw)或潜在动作,由 RL 训练的全身控制器驱动双腿(GR00T N1.6·N1.7、WholeBodyVLA、Ψ0、OpenHLM、ω-0)。Atlas LBM 输出足部位姿并由 MPC 执行,Gemini Robotics 2 未说明是否有单独的行走控制器。
格中数字为用该方式驱动该类底盘的模型数,颜色越深越多。一个模型驱动多类底盘时每格分别计数。‘其他’指飞行机器人和只在仿真中驱动底盘的情况。分类依据为各论文·官方文档中对动作空间的描述,并在卡片的‘底盘控制’一栏用一行写明。
07 · 两模型对比
两模型并排查看
用卡片上的‘对比 A’·‘对比 B’按钮或下方列表选择模型,即可并排显示架构图和规格。数值相同的行以淡色显示。
08 · 图库
模型图库
按分类·发布时间·规模·主干LLM·动作头·推理信息·有无论文·底盘类型筛选。点击卡片上方的论文标题可打开 arXiv 原文,在‘详情’中查看任务·数据·训练设置。
没有符合条件的模型。请尝试重置筛选。