WALL-OSS

X Square Robot · 2025-09

VLAFlow·Diffusion VLA4B하이브리드

추론(CoT)·서브태스크 계획·연속 액션을 한 흐름으로 내는 Uni-CoT를 쓰며 액션용과 VL용 FFN을 분리했다.

논문

백본 LLM: Qwen2.5-3B · Qwen2.5-VL-3B 구성
비전 인코더: Qwen2.5-VL ViT
액션 헤드: FAST 토큰 + flow matching (FFN 분리 MoE) (하이브리드)
청크: 미공개
제어 주기: 미공개
구조 원문 요약: Qwen2.5-VL-3B + Action FFN·VL FFN 분리 MoE형; Uni-CoT(지시→추론→서브태스크 계획→연속 액션); Inspiration 단계 FAST 이산 토큰, Integration 단계 flow matching 연속 액션(1단계 VLM 동결·flow 헤드만, 2단계 공동); 청크·주파수 미공개

사전학습 가속기: 미공개
사전학습 기간: 미공개
사전학습 스텝·배치: 미공개
GPU·TPU-시간: 미공개
파인튜닝: 미공개; 과제별 에피소드 Place-by-Color 500, Block-Spell 1600, Set-Table 1500, Tidy-Bedroom 1000, Collect-Waste 900, Pick-Place-Cup 500; LeRobot 가이드 피크 VRAM 약 24~40 GB, A100 40GB+(2차)
데이터 종류: 실로봇 텔레옵 + 웹 비전-언어
데이터 규모: 10,000 h 초과(Sec. 4)/'수만 시간'(Sec. 4.4)
주요 데이터셋: 자체 수집 + AgiBotWorld, DROID, BC-Z, RH20T, Furniture_bench, Fractal, Bridge v2; CapsFusion, Cambrian, PixMo, RoboPoint, Robo2VLM, COCO, VQAv2
태스크·평가: Embodied VQA: Object Grounding 91.6%, Scene Captioning 87.6%, Action Planning 69.0%(베이스 46.1/57.7/59.8); 실기 6과제(Set-Table·Tidy-Bedroom 등) task progress seen 85%·novel 61%
로봇: 데스크톱 팔, 모바일 스탠드, 바퀴형 양팔, 바퀴형 휴머노이드

강화학습: 미사용 · 추론·FAST·flow 공동 지도학습
베이스 제어: 바퀴형 (베이스 속도·자세 직접 출력) · Collect-waste 과제에서 모델이 쓰레기통까지 이동; 베이스 명령 형식은 논문 미기재(DoF 템플릿 마스킹)

핵심 특징: 추론(CoT)·서브태스크 계획·연속 액션을 한 흐름으로 내는 Uni-CoT를 쓰며 액션용과 VL용 FFN을 분리했다. 실기 6과제 진척도 seen 85%로 π0·Diffusion Policy보다 높다고 보고했다.
비고: 데이터 규모가 논문 안에서 10,000 h 초과와 수만 시간으로 엇갈림(원문 확인). 학습 연산은 논문·README 모두 미공개. 가중치 wall-oss-flow, wall-oss-fast.
검증: 확인