VLA 图库模型列表图库

VLA 图库 / 模型列表 / VA

RISE

Shanghai Noematrix Intelligence Technology; Shanghai Jiao Tong University · 2024-04

VAVA未公开diffusion

用稀疏3D卷积编码单视角点云，经Transformer和扩散头输出动作。

在图库中查看架构图论文 ↗

论文

RISE: 3D Perception Makes Real-World Robot Imitation Simple and EffectivearXiv 2404.12281

概述

分类
VA
类型
VA
发布
2024-04
机构
Shanghai Noematrix Intelligence Technology; Shanghai Jiao Tong University
权重公开
否
参数
未公开

架构

主干LLM
无
视觉编码器
稀疏3D编码器 (MinkowskiEngine)
动作头
CNN扩散头 (推理20步) (diffusion)
动作块
20步
控制频率
未公开
架构原文摘要
MinkowskiEngine稀疏3D编码器(体素5mm,单个RGB-D点云) + Transformer(编码器4·解码器1,d_model 512,d_ff 2048) + CNN扩散头(训练100·推理20步);动作时域20

训练

预训练加速器
不适用
预训练时长
不适用
预训练步数·批量
不适用
GPU·TPU-小时
未公开
微调
按任务：A100 2张，批量 240，lr 3e-4，warmup 2000 步；时间·epoch未公开
数据类型
真实机器人遥操作
数据规模
每项任务50条演示
主要数据集
自有Flexiv遥操作
任务·评估
Collect Cups、Collect Pens、Pour Balls、Push Block、Push Ball、Stack Blocks；对比ACT、Diffusion Policy、Act3D、DP3
机器人
Flexiv Rizon机械臂 + Dahuan AG-95夹爪

推理

推理设备·速度
Intel i9-10900K + RTX 3090工作站;延迟未公开
推理显存
未公开
权重 bf16（计算）
未公开
运行位置
本地PC

强化学习与底盘

强化学习
未使用 · 仅使用模仿学习（行为克隆）
底盘控制
固定 · 无底盘控制（Flexiv机械臂）

备注

核心特点
用稀疏3D卷积编码单视角点云，经Transformer和扩散头输出动作。以每个任务50条演示与ACT·DP·Act3D·DP3进行了比较。
备注
稀疏卷积·Transformer·CNN扩散头的混合结构。后续RISE-2于2025-05公开(README)，未做分析。
核验
已确认

同类其他模型