VLA ギャラリー / モデル一覧 / 産業界モデル

RFM-1

Covariant · 2024-03

VLA産業界モデル8B非公開

言語指示の理解、in-context学習、行動条件付き動画予測を一つの8Bモデルで処理する。

論文

論文なし

概要

分類

産業界モデル

タイプ

VLA

発表

2024-03

機関

Covariant

重み公開

なし

パラメータ

8B

構造

バックボーンLLM

非公開 (8B any-to-any Transformer)

ビジョンエンコーダ

—

アクションヘッド

行動トークン + 行動条件付き動画予測 (非公開)

チャンク

非公開

制御周期

非公開

構造の原文要約

multimodal any-to-anyシーケンスTransformer(テキスト・画像・動画・ロボット行動・数値センサー); 行動条件付き動画予測をworld modelとして使用; 行動チャンク・周波数は非公開

学習

事前学習アクセラレータ

非公開

事前学習期間

非公開

事前学習ステップ・バッチ

非公開

GPU・TPU時間

非公開

ファインチューニング

非公開

データ種類

実ロボット運用データ + インターネットデータ(テキスト・画像・動画)

データ規模

「tens of millions of trajectories」(プレスリリース); (二次情報) 「a million trajectories every few weeks」、15か国の数十の顧客企業

主要データセット

Covariant実運用ロボットデータ(非公開)

タスク・評価

物流倉庫のpick-and-place; 定量ベンチマークは非公開; 発表時点で顧客には未配備

ロボット

物流倉庫のピッキングロボット(吸着など)

推論

推論デバイス・速度

非公開(world modelの動画生成 約512×512、約5fps)

推論メモリ

非公開

重み bf16(計算)

16 GB

実行場所

非公開

強化学習・ベース

強化学習

非公開 · 学習方式は非公開

ベース制御

固定 · ベース制御なし (物流倉庫のピッキングアーム)

備考

主な特徴

言語指示の理解、in-context学習、行動条件付き動画予測を一つの8Bモデルで処理する。顧客の倉庫に配備したロボットの運用データ数千万軌跡で学習した。

備考

発表 2024-03-11(プレスリリースURLのパス・IEEE Spectrum記事の日付)。(二次情報、IEEE Spectrum) データに静止画・動画・関節角・力・吸着強度を含む。ブログは'largest real-world robot production dataset'と表現。

検証

確認