Real-Time Chunking (추론시 RTC)
Physical Intelligence, UC Berkeley · 2025-06
기타π系列不适用flow matching
无需重新训练即可用于diffusion·flow VLA的推理技术,将下一个动作块按正在执行的动作进行inpainting,使推理延迟期间也能不间断执行。
论文
Real-Time Execution of Action Chunking Flow PoliciesarXiv 2506.07339
概述
- 分类
- π系列
- 类型
- 기타
- 发布
- 2025-06
- 机构
- Physical Intelligence, UC Berkeley
- 权重公开
- 否
- 参数
- 不适用(使用π0.5)
架构
- 主干LLM
- Gemma 2B (应用于π0.5)
- 视觉编码器
- SigLIP 400M (π0.5)
- 动作头
- π0.5 flow专家 + inpainting动作块生成 (无需重新训练) (flow matching)
- 动作块
- 50步
- 控制频率
- 50 Hz
- 架构原文摘要
- 应用于π0.5(H=50,Δt=20 ms);以已确定动作为条件通过inpainting生成下一个动作块(无需重新训练)
训练
- 预训练加速器
- 不适用
- 预训练时长
- 不适用
- 预训练步数·批量
- 不适用
- GPU·TPU-小时
- 未公开
- 微调
- 未重新训练VLA。Kinetix仿真策略(4层MLP-Mixer,32个epoch)每环境H100×2约1.5 h,全部实验H100 8张以内
- 数据类型
- 不适用
- 数据规模
- 不适用
- 主要数据集
- 不适用
- 任务·评估
- 双臂6项任务(点蜡烛、插网线、整理床铺(移动)、叠衬衫、批量折叠、洗碗(移动)),每任务·方法10次,共480个episode·28 h;Kinetix 12项动态任务
- 机器人
- 双臂·移动双臂操作机器人(π0.5实机平台)
推理
- 推理设备·速度
- RTX 4090, bf16, denoising 5步: 基线76 ms vs RTC 97 ms;π0 KV缓存prefill 46 ms
- 推理显存
- 未公开
- 权重 bf16(计算)
- 未公开
- 运行位置
- 本地PC
强化学习与底盘
- 强化学习
- 未使用 · 推理技术(无需重新训练)
- 底盘控制
- 轮式 (未说明格式) · 在π0.5移动双臂任务2种(Make bed·Dishes in sink)上应用RTC;是否含底盘速度论文未注明(以π0.5为准)
备注
- 核心特点
- 无需重新训练即可用于diffusion·flow VLA的推理技术,将下一个动作块按正在执行的动作进行inpainting,使推理延迟期间也能不间断执行。以双臂6项任务480回合、机器人执行28小时进行评估。
- 备注
- 是不改变训练的推理方法,故权重·数据项不适用。训练时RTC(2025-12)另行列出。
- 核验
- 已反映修正
同类其他模型
- π02024-10
- π0-FAST (FAST 토크나이저)2025-01
- Hi Robot2025-02
- π0.52025-04
- π0.5 + KI2025-05
- π0.62025-11
- π*0.6 (RECAP)2025-11
- 학습시 RTC2025-12