CARP

Westlake University; Zhejiang University; Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing · 2024-12†

VAVA状態ベース 0.65M離散トークン

行動列をマルチスケールトークンに変換し、粗いものから細かいものへ自己回帰予測する。

論文

分類: VA
タイプ: VA
発表: 2024-12†
機関: Westlake University; Zhejiang University; Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing
重み公開: あり
パラメータ: 状態ベース 0.65M(DP-C 65.88M, DP-T 8.97M); 画像 7.58M; Kitchen 3.88M; マルチタスク 16.08M

バックボーンLLM: なし
ビジョンエンコーダ: 記載なし
アクションヘッド: マルチスケールVQトークン (coarse-to-fine) (離散トークン)
チャンク: 16ステップ
制御周期: 非公開
構造の原文要約: マルチスケール行動VQ-VAEトークナイザ(行動次元ごとに1個、K=4スケール、16ステップのホライズン) + GPT型Transformerが粗いスケールから細かいスケールへ離散トークンを予測(交差エントロピー)

事前学習アクセラレータ: 該当なし
事前学習期間: 該当なし
事前学習ステップ・バッチ: 該当なし
GPU・TPU時間: 非公開
ファインチューニング: マルチタスク: A100 1枚、バッチ 512、200 エポック; Square学習コスト(V100): トークナイザ 4.67 GPU時間(28分×10) + 方策 13.85 GPU時間
データ種類: シミュレーション・合成; 実ロボットのテレオペレーション
データ規模: Robomimicはタスクあたり200デモ; MimicGenはタスクあたり1K軌跡; 実機はタスクあたり50デモ
主要データセット: Robomimic; Franka Kitchen; Push-T; MimicGen
タスク・評価: Robomimic Lift·Can·Square(状態・画像)、Kitchen、Push-T; MimicGen 8タスク(マルチタスク); 実機UR5eでカップ・ボウルの2タスク
ロボット: UR5e単腕; シミュレーション

主な特徴: 行動列をマルチスケールトークンに変換し、粗いものから細かいものへ自己回帰予測する。拡散方策より10倍以上速い推論を報告した。
備考: パラメータ(B)は最大マルチタスク16.08M。比較パラメータ: 画像DP-C 255.61M・DP-T 9.01M、Kitchen DP-C 66.94M・DP-T 80.42M、マルチタスクTCD 156.11M・SDP 159.85M(修正反映)。同じV100測定でDP-C 12.17・DP-T 10.83 GPU-時間。タスク指定は学習型3次元埋め込み(言語なし)。発表月v1は確認不可(†)。
検証: 修正反映