RynnVLA-001
Alibaba DAMO Academy · 2025-08
VLA产业界模型7B潜在动作
三阶段训练:先用12M个ego-centric人类操作视频预训练视频生成,再进行轨迹感知视频建模和VLA微调。
论文
RynnVLA-001: Using Human Demonstrations to Improve Robot ManipulationarXiv 2509.15212
概述
- 分类
- 产业界模型
- 类型
- VLA
- 发布
- 2025-08
- 机构
- Alibaba DAMO Academy
- 权重公开
- 是
- 参数
- 7B(公开模型名RynnVLA-001-7B-Base·7B-Trajectory;论文总量未公开)
架构
- 主干LLM
- Chameleon 7B (视频扩展)
- 视觉编码器
- Chameleon图像分词器
- 动作头
- ActionVAE潜在动作 (潜在动作)
- 动作块
- 未公开
- 控制频率
- 未公开
- 架构原文摘要
- 将Chameleon 7B图像生成模型扩展至视频(README初始权重'Chemeleon-7B');用ActionVAE将动作序列压缩为潜在嵌入
训练
- 预训练加速器
- 未公开(仅ActionVAE为8 GPUs,型号未标注)
- 预训练时长
- 未公开
- 预训练步数·批量
- ActionVAE 300,000 iterations, batch 16×8(GPUs)
- GPU·TPU-小时
- 未公开
- 微调
- 未公开
- 数据类型
- 人类视频 + 机器人视频 + 动作捕捉(EgoDex上半身关节轨迹) + 真实机器人演示(SO-100)
- 数据规模
- ego-centric人类操作视频12M + 机器人操作视频244K;微调248·249·301 demos
- 主要数据集
- 自有ego-centric视频,EgoDex(Apple Vision Pro),SO-100自有演示
- 任务·评估
- SO-100 3项任务(积木pick-and-place,草莓,插笔)平均90.6% vs π0 70.4% vs GR00T N1.5 55.6%(用相同数据微调)
- 机器人
- LeRobot SO-100单臂(3台)
推理
- 推理设备·速度
- 未公开
- 推理显存
- 未公开
- 权重 bf16(计算)
- 14 GB
- 运行位置
- 未公开
强化学习与底盘
- 强化学习
- 未使用 · 视频生成预训练 + 模仿学习
- 底盘控制
- 固定 · 无底盘控制(SO-100单臂)
备注
- 核心特点
- 三阶段训练:先用12M个ego-centric人类操作视频预训练视频生成,再进行轨迹感知视频建模和VLA微调。SO-100 3项任务平均90.6%,超过π0(70.4%)和GR00T N1.5(55.6%)。
- 备注
- 权重·代码于2025-08-08公开(Apache 2.0),技术报告2025-09-18。参数(B)以公开模型名为准。
- 核验
- 已确认
同类其他模型
- Gemini Robotics2025-03
- Gemini Robotics-ER2025-03
- Gemini Robotics On-Device2025-06
- Gemini Robotics 1.52025-09
- Gemini Robotics-ER 1.52025-09
- RT-H2024-03
- AutoRT2024-01
- SARA-RT2023-12
- GR-22024-10
- GR-32025-07
- GR-RL2025-12
- GR-Dexter2025-12
- TRI LBM 1.02025-07
- GO-12025-03
- Genie Envisioner2025-08
- RFM-12024-03
- Skild Brain2025-07
- DYNA-12025-06
- GEN-02025-11
- Galaxea G02025-08
- GigaBrain-02025-10
- UnifoLM-WMA-02025-09
- V-JEPA 2-AC2025-06