Chain-of-Action
ByteDance Seed; University of Adelaide; NUS; CAS; CSIRO · 2025-06
VAVA非公開回帰
目標キーフレームから現時点まで軌跡を逆向きに生成し、大域目標を行動に反映する。
論文
Chain-of-Action: Trajectory Autoregressive Modeling for Robotic ManipulationarXiv 2506.09990
概要
- 分類
- VA
- タイプ
- VA
- 発表
- 2025-06
- 機関
- ByteDance Seed; University of Adelaide; NUS; CAS; CSIRO
- 重み公開
- 未確認
- パラメータ
- 非公開
構造
- バックボーンLLM
- なし
- ビジョンエンコーダ
- ResNet-18 (多視点)
- アクションヘッド
- キーフレームから逆順の自己回帰連続行動 (回帰)
- チャンク
- 非公開
- 制御周期
- 非公開
- 構造の原文要約
- 多視点ResNet-18 + Transformerエンコーダ4層・デコーダ7層; キーフレーム行動から始まる逆順の自己回帰軌跡生成、連続行動トークン・潜在一貫性損失、学習時のマルチトークン予測ヘッド、動的停止
学習
- 事前学習アクセラレータ
- 該当なし
- 事前学習期間
- 該当なし
- 事前学習ステップ・バッチ
- 該当なし
- GPU・TPU時間
- 非公開
- ファインチューニング
- タスク別: H100 1枚、20,000 反復、バッチ 128(READMEのデフォルト値と同じ); 時間は非公開
- データ種類
- シミュレーション・合成; 実ロボットのテレオペレーション
- データ規模
- RLBenchタスクあたり100デモ; 実機タスクあたり35–81デモ
- 主要データセット
- RLBench; 独自Fetchデータ
- タスク・評価
- RLBench 60タスク中心; Fetch実機キッチン8タスク
- ロボット
- Fetch(実機); RLBenchシミュレーション
推論
- 推論デバイス・速度
- 非公開
- 推論メモリ
- 非公開
- 重み bf16(計算)
- 非公開
- 実行場所
- 非公開
強化学習・ベース
- 強化学習
- 不使用 · 模倣学習(行動クローニング)のみ使用
- ベース制御
- 固定 · ベース移動はFetch内蔵LiDARナビゲーション(別スタック); 方策はEE絶対姿勢のみ
備考
- 主な特徴
- 目標キーフレームから現時点まで軌跡を逆向きに生成し、大域目標を行動に反映する。タスクあたりH100 1枚で学習する。
- 備考
- ACT・DP比の向上を報告したが、ノートに数値なし。
- 検証
- 確認
同じ分類のモデル
- Mobile ALOHA2024-01
- ALOHA Unleashed2024-10
- HPT2024-09
- BAKU2024-06
- VQ-BeT2024-03
- ScaleDP2024-09†
- UMI2024-02
- DP32024-03
- Data Scaling Laws2024-10
- RISE2024-04
- Robot Utility Models (RUM)2024-09
- EgoMimic2024-10
- InterACT2024-09†
- CARP2024-12†
- Dense Policy2025-03
- BRS (WB-VIMA)2025-03