VLA 图库 / 模型列表 / Flow·Diffusion VLA
HybridVLA
Peking University, BAAI, CUHK · 2025-03
VLAFlow·Diffusion VLALLM 7B / 2.7B两种规模混合
一个LLM同时进行自回归预测与扩散动作生成，当AR token平均置信度超过0.96时采用将两种动作取平均的协同集成。
论文
HybridVLA: Collaborative Diffusion and Autoregression in a Unified Vision-Language-Action ModelarXiv 2503.10631
概述
- 分类
- Flow·Diffusion VLA
- 类型
- VLA
- 发布
- 2025-03
- 机构
- Peking University, BAAI, CUHK
- 权重公开
- 是
- 参数
- LLM 7B / 2.7B两种规模;总量未公开
架构
- 主干LLM
- Llama 2 7B / Phi-2 2.7B
- 视觉编码器
- SigLIP + DINOv2 (7B) / CLIP (2.7B)
- 动作头
- 自回归token + 扩散token (4步)结合 (混合)
- 动作块
- 无 (单步)
- 控制频率
- 未公开
- 架构原文摘要
- 在单个LLM（7B：LLaMA-2 + DINOv2·SigLIP，prism-dinosiglip-224px / 2.7B：Phi-2 + CLIP）内自回归token + diffusion token（<BOD>/<EOD>），denoising 4步（由20缩减）；单步动作
训练
- 预训练加速器
- A800(张数未公开)
- 预训练时长
- 未公开
- 预训练步数·批量
- 5个epoch(35个数据集)，批量未公开
- GPU·TPU-小时
- 10,000 (明示 · A800-小时（10K以上）)
- 微调
- RLBench: A800×8, 300 epoch, mixed precision(时间未公开);README示例A100×8 1节点,每GPU批量32
- 数据类型
- 真实机器人遥操作 + 仿真(RLBench微调)
- 数据规模
- 预训练760K条轨迹·33M帧，35个数据集；RLBench每任务100条轨迹；实机每任务100条演示
- 主要数据集
- Open X-Embodiment, DROID, RoboMIND
- 任务·评估
- RLBench 10项任务平均74%(7B);Franka FR3真机5项任务平均0.80;AgileX双臂5项任务平均0.66
- 机器人
- Franka Research 3(单臂)，AgileX(双臂)；仿真RLBench
推理
- 推理设备·速度
- NVIDIA 4090D: HybridVLA(7B) 6.1 Hz, HybridVLA-dif(7B) 9.4 Hz, HybridVLA(2.7B) 12.3 Hz
- 推理显存
- 未公开
- 权重 bf16（计算）
- 14 GB
- 运行位置
- 本地PC
强化学习与底盘
- 强化学习
- 未使用 · 仅使用模仿学习（行为克隆）
- 底盘控制
- 固定 · 无底盘控制（Franka·AgileX双臂操作·RLBench）
备注
- 核心特点
- 一个LLM同时进行自回归预测与扩散动作生成，当AR token平均置信度超过0.96时采用将两种动作取平均的协同集成。用35个数据集760K条轨迹在A800上预训练超过10K GPU-小时。
- 备注
- 参数(B)以论文变体名HybridVLA(7B)的LLM大小为准的最大值(含视觉编码器的总计未公开)。检查点通过Baidu Netdisk公开。
- 核验
- 已确认