VLA 갤러리 / 모델 목록 / VA

RISE

Shanghai Noematrix Intelligence Technology; Shanghai Jiao Tong University · 2024-04

VAVA미공개diffusion

단일 시점 점군을 희소 3D 합성곱으로 인코딩하고 트랜스포머와 확산 헤드로 행동을 낸다.

논문

RISE: 3D Perception Makes Real-World Robot Imitation Simple and EffectivearXiv 2404.12281

개요

분류

VA

유형

VA

발표

2024-04

기관

Shanghai Noematrix Intelligence Technology; Shanghai Jiao Tong University

가중치 공개

아니오

파라미터

미공개

구조

백본 LLM

없음

비전 인코더

희소 3D 인코더 (MinkowskiEngine)

액션 헤드

CNN 확산 헤드 (추론 20스텝) (diffusion)

청크

20스텝

제어 주기

미공개

구조 원문 요약

MinkowskiEngine 희소 3D 인코더(복셀 5mm, 단일 RGB-D 점군) + 트랜스포머(인코더 4·디코더 1, d_model 512, d_ff 2048) + CNN 확산 헤드(학습 100·추론 20스텝); 행동 지평 20

학습

사전학습 가속기

해당 없음

사전학습 기간

해당 없음

사전학습 스텝·배치

해당 없음

GPU·TPU-시간

미공개

파인튜닝

과제별: A100 2장, 배치 240, lr 3e-4, warmup 2000 스텝; 시간·에폭 미공개

데이터 종류

실로봇 텔레옵

데이터 규모

과제당 50데모

주요 데이터셋

자체 Flexiv 텔레옵

태스크·평가

Collect Cups, Collect Pens, Pour Balls, Push Block, Push Ball, Stack Blocks; 비교 ACT, Diffusion Policy, Act3D, DP3

로봇

Flexiv Rizon 팔 + Dahuan AG-95 그리퍼

추론

추론 장치·속도

Intel i9-10900K + RTX 3090 워크스테이션; 지연 미공개

추론 메모리

미공개

가중치 bf16 (계산)

미공개

실행 위치

로컬 PC

강화학습 · 베이스

강화학습

미사용 · 모방학습(행동 복제)만 사용

베이스 제어

고정 · 베이스 제어 없음 (Flexiv 팔)

비고

핵심 특징

단일 시점 점군을 희소 3D 합성곱으로 인코딩하고 트랜스포머와 확산 헤드로 행동을 낸다. 과제당 50데모로 ACT·DP·Act3D·DP3와 비교했다.

비고

희소 합성곱·트랜스포머·CNN 확산 헤드 혼합 구조. 후속 RISE-2는 2025-05 공개(README), 미프로파일.

검증

확인