GR-3

ByteDance Seed · 2025-07

VLA산업계 모델4Bflow matching

로봇 궤적, 웹 비전-언어 데이터, VR 사람 궤적을 함께 학습해 새 물체·지시로 일반화한다.

논문

백본 LLM: Qwen2.5-3B · Qwen2.5-VL-3B 구성
비전 인코더: Qwen2.5-VL ViT
액션 헤드: flow matching action DiT (MoT) (flow matching)
청크: k스텝 (미공개)
제어 주기: 미공개
구조 원문 요약: Qwen2.5-VL-3B-Instruct + action DiT(VLM 절반 층수), mixture-of-transformers; flow matching, k-길이 action chunk를 k 토큰으로 표현(k 미공개), action DiT에 causal attention

사전학습 가속기: 미공개
사전학습 기간: 미공개
사전학습 스텝·배치: 미공개
GPU·TPU-시간: 미공개
파인튜닝: 미공개
데이터 종류: 실로봇 텔레옵 + 웹 비전-언어 + 모션캡처(VR 사람 궤적)
데이터 규모: pick-and-place 35k traj·101개 물체·69 h; 테이블 정리 약 101 h; 천 다루기 116 h; VR 사람 궤적 시간당 약 450개(텔레옵 약 250개), unseen 45개 물체당 최대 10개
주요 데이터셋: 자체 ByteMini 텔레옵 데이터, 웹 VL(캡셔닝·VQA·grounding·interleaved grounded captioning), PICO 4 Ultra Enterprise VR 사람 궤적
태스크·평가: pick-and-place unseen 지시 77.1%, unseen 물체 57.8%(사람 궤적 10-shot 시 86.7%); 테이블 정리 지시 추종 97.5% vs π0 53.8%; 천 다루기 평균 task progress 86.7/83.9/75.8%
로봇: ByteMini 22-DoF 양팔 모바일 로봇(7-DoF 팔, 구형 손목, 머리·양 손목 RGBD)

강화학습: 미사용 · 모방학습 + 웹 VL·VR 사람 궤적 공동학습. RL을 적용한 판은 GR-RL
베이스 제어: 바퀴형 (베이스 속도·자세 직접 출력) · 정책 청크가 모바일 베이스 포함 로봇을 end-to-end 제어(리프트·헤드 제외 19 DoF); 테이블 정리·옷 걸기에서 베이스 이동·회전

핵심 특징: 로봇 궤적, 웹 비전-언어 데이터, VR 사람 궤적을 함께 학습해 새 물체·지시로 일반화한다. 학습 안정화를 위해 어텐션·FFN 선형층 뒤에 RMSNorm을 추가했다.
비고: 데이터 시간은 과제별(69 h, 약 101 h, 116 h)만 명시되고 합계 문장이 없어 수치 칸 비움. arXiv 1쪽 조직 표기는 'ByteDance'. 공개 저장소를 찾지 못함(검증 확인불가). arXiv v1 2025-07-21.
검증: 확인