VQ-BeT

New York University; Seoul National University · 2024-03

VAVA非公開離散トークン

連続行動を階層的な残差VQコードに変換し、反復デノイジングなしで一度に予測する。

論文

バックボーンLLM: なし
ビジョンエンコーダ: ResNet18 (凍結)
アクションヘッド: 残差VQ行動コード + オフセット (離散トークン)
チャンク: 非公開
制御周期: 非公開
構造の原文要約: minGPT(6層・6ヘッド・120次元; BlockPushは4・4・72) + 2層残差VQ行動コード(VQ-VAE潜在512、BlockPush 256; コードブック8–16) + オフセット、シングルパスデコーディング; 画像タスクは凍結ResNet18埋め込み

事前学習アクセラレータ: 該当なし
事前学習期間: 該当なし
事前学習ステップ・バッチ: 該当なし
GPU・TPU時間: 非公開
ファインチューニング: タスク別: GPU・時間・バッチは非公開; エポック Kitchen 1000、Ant 300、BlockPush 1500、UR3 300、PushT 2000、NuScenes 1000、実機 600; 2段階学習(残差VQトークナイザ → Transformer)
データ種類: シミュレーション・合成; 実ロボットのデモ(収集方式はノートに記載なし); その他(nuScenes走行)
データ規模: PushT 206、Kitchen 566、BlockPush 1,000軌跡、nuScenes 684シーン; 実機タスクあたり45デモ(80%を学習)
主要データセット: Push-T; Franka Kitchen; BlockPush; UR3 BlockPush; Multimodal Ant; nuScenes
タスク・評価: PushT, Image PushT, Kitchen, Image Kitchen, UR3 BlockPush, BlockPush, Multimodal Ant, nuScenes; 実機Stretchの単一段階5・多段階3・長期4タスク
ロボット: Hello Robot Stretch(実機); シミュレーション; nuScenes走行

推論デバイス・速度: 実ロボット: VQ-BeT 18.06 ms(RTX A4000)・207.25 ms(4コアCPU) vs DP-T 573.49・5,243.82 ms
推論メモリ: 非公開
重み bf16(計算): 非公開
実行場所: ローカルPC

主な特徴: 連続行動を階層的な残差VQコードに変換し、反復デノイジングなしで一度に予測する。実ロボットでの推論が拡散方策より25倍(シミュレーションでは5倍)速いと報告した。
備考: 実機実験はStretchモバイルマニピュレーター。目標条件は任意、言語なし。Table 13 BlockPush列の構造値の修正を反映。READMEは目標条件付きKitchenの重みのみ提供。ICML 2024。
検証: 修正反映