WALL-OSS

X Square Robot · 2025-09

VLAFlow·Diffusion VLA4Bハイブリッド

推論(CoT)・サブタスク計画・連続アクションを一つの流れで出すUni-CoTを用い、アクション用とVL用のFFNを分離した。

論文

バックボーンLLM: Qwen2.5-3B · Qwen2.5-VL-3B構成
ビジョンエンコーダ: Qwen2.5-VL ViT
アクションヘッド: FASTトークン + flow matching (FFN分離MoE) (ハイブリッド)
チャンク: 非公開
制御周期: 非公開
構造の原文要約: Qwen2.5-VL-3B + Action FFN・VL FFNを分離したMoE型; Uni-CoT(指示→推論→サブタスク計画→連続アクション); Inspiration段階はFAST離散トークン、Integration段階はflow matching連続アクション(1段階はVLM凍結・flowヘッドのみ、2段階は共同); チャンク・周波数は非公開

事前学習アクセラレータ: 非公開
事前学習期間: 非公開
事前学習ステップ・バッチ: 非公開
GPU・TPU時間: 非公開
ファインチューニング: 非公開; タスク別エピソード Place-by-Color 500、Block-Spell 1600、Set-Table 1500、Tidy-Bedroom 1000、Collect-Waste 900、Pick-Place-Cup 500; LeRobotガイドのピークVRAM 約24~40 GB、A100 40GB+(二次情報)
データ種類: 実ロボットのテレオペレーション + Web視覚言語
データ規模: 10,000 h超(Sec. 4)/「数万時間」(Sec. 4.4)
主要データセット: 独自収集 + AgiBotWorld、DROID、BC-Z、RH20T、Furniture_bench、Fractal、Bridge v2; CapsFusion、Cambrian、PixMo、RoboPoint、Robo2VLM、COCO、VQAv2
タスク・評価: Embodied VQA: Object Grounding 91.6%、Scene Captioning 87.6%、Action Planning 69.0%(ベース 46.1/57.7/59.8); 実機6課題(Set-Table・Tidy-Bedroomなど) task progress seen 85%・novel 61%
ロボット: デスクトップアーム、モバイルスタンド、車輪型双腕、車輪型ヒューマノイド

強化学習: 不使用 · 推論・FAST・flowの共同教師あり学習
ベース制御: 車輪型 (ベース速度・姿勢を直接出力) · Collect-waste課題でモデルがゴミ箱まで移動; ベース指令の形式は論文に記載なし(DoFテンプレートマスキング)

主な特徴: 推論(CoT)・サブタスク計画・連続アクションを一つの流れで出すUni-CoTを用い、アクション用とVL用のFFNを分離した。実機6タスクの進捗度seen 85%でπ0・Diffusion Policyより高いと報告した。
備考: データ規模が論文内で10,000 h超と数万時間で食い違う(原文確認)。学習計算量は論文・READMEともに非公開。重み wall-oss-flow, wall-oss-fast。
検証: 確認