GR-3

ByteDance Seed · 2025-07

VLA産業界モデル4Bflow matching

ロボット軌跡、WebのVision-Languageデータ、VRの人の軌跡を共に学習し、新しい物体・指示へ汎化する。

論文

バックボーンLLM: Qwen2.5-3B · Qwen2.5-VL-3B構成
ビジョンエンコーダ: Qwen2.5-VL ViT
アクションヘッド: flow matching action DiT (MoT) (flow matching)
チャンク: kステップ (非公開)
制御周期: 非公開
構造の原文要約: Qwen2.5-VL-3B-Instruct + action DiT(VLMの半分の層数)、mixture-of-transformers; flow matching、k長のaction chunkをkトークンで表現(kは非公開)、action DiTにcausal attention

事前学習アクセラレータ: 非公開
事前学習期間: 非公開
事前学習ステップ・バッチ: 非公開
GPU・TPU時間: 非公開
ファインチューニング: 非公開
データ種類: 実ロボットのテレオペレーション + Web視覚言語 + モーションキャプチャ(VRによる人の軌跡)
データ規模: pick-and-place 35k traj・101物体・69 h; テーブル片付け約101 h; 布の扱い116 h; VR人間軌跡は1時間あたり約450個(テレオペレーションは約250個)、unseen 45物体につき最大10個
主要データセット: 独自のByteMiniテレオペレーションデータ、Web VL(キャプショニング・VQA・grounding・interleaved grounded captioning)、PICO 4 Ultra Enterprise VRの人間軌跡
タスク・評価: pick-and-place unseen指示77.1%、unseen物体57.8%(人間軌跡10-shot時86.7%); テーブル片付け指示追従97.5% vs π0 53.8%; 布の扱い平均task progress 86.7/83.9/75.8%
ロボット: ByteMini 22-DoF双腕モバイルロボット(7-DoFアーム、球面手首、頭・両手首RGBD)

強化学習: 不使用 · 模倣学習 + Web VL・VRの人の軌跡の共同学習。RLを適用した版はGR-RL
ベース制御: 車輪型 (ベース速度・姿勢を直接出力) · 方策チャンクがモバイルベースを含むロボットをend-to-endで制御(リフト・ヘッドを除く19 DoF); テーブル片付け・服掛けでベース移動・回転

主な特徴: ロボット軌跡、WebのVision-Languageデータ、VRの人の軌跡を共に学習し、新しい物体・指示へ汎化する。学習安定化のためアテンション・FFNの線形層の後にRMSNormを追加した。
備考: データ時間はタスク別(69 h、約101 h、116 h)のみ明示され合計の記述がないため数値欄は空欄。arXiv 1ページ目の組織表記は'ByteDance'。公開リポジトリは見つからず(検証で確認不可)。arXiv v1 2025-07-21。
検証: 確認