EO-1

EO-1 (EmbodiedOneVision)

EO-Robotics†(README 연락처 pjlab.org.cn, 미러 SHAILAB-IPEC) · 2025-08

VLAFlow·Diffusion VLA3B하이브리드

비전·텍스트·액션을 섞은 interleaved 시퀀스로 추론과 액션을 한 디코더에서 함께 학습한다.

논문

백본 LLM: Qwen2.5-3B · Qwen2.5-VL 초기화
비전 인코더: Qwen2.5-VL ViT
액션 헤드: 자기회귀 토큰 + flow matching (10스텝) (하이브리드)
청크: 16스텝
제어 주기: 미공개
구조 원문 요약: Qwen2.5-VL 초기화 단일 decoder-only 트랜스포머; 이산 자기회귀 디코딩 + 연속 flow matching 디노이징, interleaved 비전-텍스트-액션 시퀀스; 청크 16, denoising 10회

사전학습 가속기: '128+ GPUs'(README, 기종 미공개; flash-attn 3는 H100/H800 권장)
사전학습 기간: 미공개
사전학습 스텝·배치: 5 에폭, 가변 길이 패킹(평균 16,384), 배치 1, lr 5×10⁻⁵(LM·projector)/1×10⁻⁵(비전)
GPU·TPU-시간: 미공개
파인튜닝: LIBERO: GPU×8, 장치당 64(실효 512), 50 에폭; 실기 과제당 150 시연·25 에폭(서브태스크:전체 9:1); 시간·기종 미공개
데이터 종류: 실로봇 텔레옵 + 웹 비전-언어 + interleaved 체화 데이터
데이터 규모: 총 135B 토큰: 로봇 1.2M 에피소드(127.3B 토큰), 웹 5.7M 샘플(7.1B), EO-Data1.5M(1.0B)
주요 데이터셋: AgiBotWorld, OXE, RoboMIND, SO100-Community, IPEC-Franka; LLaVA-1.5, LLaVA-Video-178K, PixMo-Points, RefCOCO, RoboVQA; EO-Data1.5M
태스크·평가: LIBERO 98.2±0.3%(저장소 50 에폭 99.7/99.8/99.2/94.8); SimplerEnv WidowX 72.7%, Google VM 76.5%·VA 63.0%; RoboVQA BLEU-4 58.5, ERQA 45.5; EO-Bench Spatial 36.4·Temporal 38.9; 실기 86.0%
로봇: Franka Panda, WidowX 250 S, AgiBot G-1, LeRobot SO100

핵심 특징: 비전·텍스트·액션을 섞은 interleaved 시퀀스로 추론과 액션을 한 디코더에서 함께 학습한다. 135B 토큰(로봇 1.2M 에피소드)으로 학습해 LIBERO 98.2%를 냈다.
비고: 논문에 학습 GPU 문장 없음('128+ GPUs'는 README만). 기관명은 논문 추출에서 확인불가†. arXiv v5(2026-02-25)까지 개정.
검증: 확인