VLA ギャラリー / モデル一覧 / VA

RISE

Shanghai Noematrix Intelligence Technology; Shanghai Jiao Tong University · 2024-04

VAVA非公開diffusion

単一視点の点群をスパース3D畳み込みでエンコードし、Transformerと拡散ヘッドで行動を出力する。

論文

RISE: 3D Perception Makes Real-World Robot Imitation Simple and EffectivearXiv 2404.12281

概要

分類

VA

タイプ

VA

発表

2024-04

機関

Shanghai Noematrix Intelligence Technology; Shanghai Jiao Tong University

重み公開

なし

パラメータ

非公開

構造

バックボーンLLM

なし

ビジョンエンコーダ

疎3Dエンコーダ (MinkowskiEngine)

アクションヘッド

CNN拡散ヘッド (推論20ステップ) (diffusion)

チャンク

20ステップ

制御周期

非公開

構造の原文要約

MinkowskiEngineスパース3Dエンコーダ(ボクセル5mm、単一RGB-D点群) + Transformer(エンコーダ4・デコーダ1、d_model 512、d_ff 2048) + CNN拡散ヘッド(学習100・推論20ステップ); 行動ホライズン20

学習

事前学習アクセラレータ

該当なし

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

タスク別: A100 2枚、バッチ 240、lr 3e-4、warmup 2000 ステップ; 時間・エポックは非公開

データ種類

実ロボットのテレオペレーション

データ規模

タスクあたり50デモ

主要データセット

独自のFlexivテレオペレーション

タスク・評価

Collect Cups、Collect Pens、Pour Balls、Push Block、Push Ball、Stack Blocks; 比較 ACT、Diffusion Policy、Act3D、DP3

ロボット

Flexiv Rizonアーム + Dahuan AG-95グリッパ

推論

推論デバイス・速度

Intel i9-10900K + RTX 3090ワークステーション; 遅延は非公開

推論メモリ

非公開

重み bf16(計算)

非公開

実行場所

ローカルPC

強化学習・ベース

強化学習

不使用 · 模倣学習(行動クローニング)のみ使用

ベース制御

固定 · ベース制御なし (Flexiv腕)

備考

主な特徴

単一視点の点群をスパース3D畳み込みでエンコードし、Transformerと拡散ヘッドで行動を出力する。タスクあたり50デモでACT・DP・Act3D・DP3と比較した。

備考

疎畳み込み・Transformer・CNN拡散ヘッドの混合構造。後続のRISE-2は2025-05公開(README)、未プロファイル。

検証

確認