VLA ギャラリー / モデル一覧 / VA

Data Scaling Laws

Tsinghua University; Shanghai Qi Zhi Institute; Shanghai AI Lab · 2024-10

VAVA396M超diffusion

UMIで4万件を超えるデモを集め、汎化が環境・物体数のべき乗則に従うことを示した。

論文

Data Scaling Laws in Imitation Learning for Robotic ManipulationarXiv 2410.18647

概要

分類

VA

タイプ

VA

発表

2024-10

機関

Tsinghua University; Shanghai Qi Zhi Institute; Shanghai AI Lab

重み公開

あり

パラメータ

396M超(ビジョンエンコーダ + ノイズ予測ネット)

構造

バックボーンLLM

なし

ビジョンエンコーダ

DINOv2 ViT-L/14 (微調整)

アクションヘッド

CNN U-Net拡散 (diffusion)

チャンク

16ステップ

制御周期

5 Hz

構造の原文要約

ファインチューニング済みDINOv2 ViT-L/14 + CNN U-Net拡散方策; 行動ホライズン 16、画像観測ホライズン 2(Pour Water・Unplug Charger 3)、環境周波数 5

学習

事前学習アクセラレータ

該当なし

事前学習期間

該当なし

事前学習ステップ・バッチ

該当なし

GPU・TPU時間

非公開

ファインチューニング

タスク別: 最大データセットの方策は A800 8枚、75 エポック(5×10^5 ステップ)、75時間; バッチ 256

データ種類

人の動画(UMIハンドヘルドグリッパーのデモ)

データ規模

計40,000+デモ; 公開方策は環境-物体32ペア × 環境あたり50デモ

主要データセット

UMIで自前収集

タスク・評価

Pour Water, Mouse Arrangement, Fold Towels, Unplug Charger; 実ロボットのロールアウト15,000回+; 収集者4名の半日分のデータで新環境・新物体の2タスクを約90%成功

ロボット

Franka Emika Panda + Weiss WSG-50、手首GoPro

推論

推論デバイス・速度

RTX 4090(24GB)ワークステーション

推論メモリ

非公開

重み bf16(計算)

0.8 GB

実行場所

ローカルPC

強化学習・ベース

強化学習

不使用 · 人のハンドヘルドデモによる模倣学習

ベース制御

固定 · ベース制御なし (Franka腕)

備考

主な特徴

UMIで4万件を超えるデモを集め、汎化が環境・物体数のべき乗則に従うことを示した。データ量より多様性が重要だと結論づけた。

備考

パラメータ(B)は下限値(396M超)。単一タスク方策、言語なし。4タスクの方策をHugging Faceで公開。ICLR 2025。

検証

確認