VLA 图库 / 模型列表 / Flow·Diffusion VLA
InternVLA-M1
Shanghai AI Laboratory (Intern Robotics) · 2025-10
VLAFlow·Diffusion VLA约4.1B；扩散策略86M，DINOv2 21M，状态编码器0.4M，querying transformer 8.7 MBdiffusion
双系统：VLM先预训练定位关键物体位置的空间grounding，再接上DiT动作专家。
论文
InternVLA-M1: A Spatially Guided Vision-Language-Action Framework for Generalist Robot PolicyarXiv 2510.13778
概述
- 分类
- Flow·Diffusion VLA
- 类型
- VLA
- 发布
- 2025-10
- 机构
- Shanghai AI Laboratory (Intern Robotics)
- 权重公开
- 是
- 参数
- 约4.1B；扩散策略86M，DINOv2 21M，状态编码器0.4M，querying transformer 8.7 MB(原文单位)
架构
- 主干LLM
- Qwen2.5-3B · Qwen2.5-VL-3B配置
- 视觉编码器
- Qwen2.5-VL ViT + DINOv2 (21M)
- 动作头
- DiT扩散专家86M (DDIM 10) (diffusion)
- 动作块
- 16 · 8 (LIBERO)
- 控制频率
- 未公开
- 架构原文摘要
- Qwen2.5-VL-3B-Instruct(System 2,空间提示) → querying transformer → DiT扩散策略动作专家(System 1, 86M;DINOv2 21M·状态编码器0.4M);动作块16(SimplerEnv·真机)/8(LIBERO),DDIM 10步(README)
训练
- 预训练加速器
- Stage 1未公开；Stage 2(动作后训练) A100×16
- 预训练时长
- 未公开
- 预训练步数·批量
- Stage 2：50k步(约2.5个epoch)，批量机器人256 + 多模态64
- GPU·TPU-小时
- 未公开
- 微调
- LIBERO A100×8·批量128·约30K步·约20 h;大规模pick-place·真机A100×16·批量256·20K步;README: 已确认可在A100·RTX 4090上运行
- 数据类型
- 网络视觉-语言(空间grounding) + 仿真·合成 + 真实机器人遥操作
- 数据规模
- 多模态 3M+（空间grounding 2.3M + 多模态理解 0.7M）；合成InternData-M1 244K closed-loop样本（物体 14K，桌子 211，纹理 1.6K，光照 87）；OXE；实机遥操作 6 h + 长时程任务 22 h（每任务约 500条演示）
- 主要数据集
- RefCOCO, RoboRef, A0 ManiSkill, MolmoAct, Pixmo-Points; InternData-M1; OXE(fractal_rt_1, bridge)
- 任务·评估
- SimplerEnv Google VM 80.7·VA 76.0, WidowX 71.7; LIBERO 95.9; 合成大规模pick-place; Franka FR3实机cluttered pick-place(未见物体·新摆放+20.6%)，长时程任务(整理·抽屉·三明治)
- 机器人
- Google Robot, WidowX, Franka FR3(单臂)
推理
- 推理设备·速度
- 单张RTX 4090约12 GB;使用FlashAttention时VLM约10 FPS
- 推理显存
- 约12 GB (RTX 4090)
- 权重 bf16（计算）
- 8.2 GB
- 运行位置
- 未公开
强化学习与底盘
- 强化学习
- 未使用 · 仅使用模仿学习（行为克隆）
- 底盘控制
- 固定 · 无底盘控制（单臂）
备注
- 核心特点
- 双系统：VLM先预训练定位关键物体位置的空间grounding，再接上DiT动作专家。用244K合成数据将未见物体实机pick-place提升20.6%。
- 备注
- 细分QA(约637K·879K·684K·832K)之和与2.3M不符(似为覆盖整个3M+数据包的值)。Stage 1·合成数据生成算力未公开。权重于README '0918'公开(未标年份)，故发布月以arXiv v1(2025-10-15)为准。数据时长只有实机部分，故为null。
- 核验
- 已确认