τ0-VLA (tau-0)

Shanghai Innovation Institute·Agibot Finch·CUHK · 2026-08

VLA2026 신규약 3.0Bflow matching

실행 메모리를 가진 상위 정책이 world model로 후보 하위 과제의 결과 영상을 예측하고 가치 모델로 평가해 빔 탐색하는 test-time computation 계층형 VLA이다.

논문

분류: 2026 신규
유형: VLA
발표: 2026-08
기관: Shanghai Innovation Institute·Agibot Finch·CUHK
가중치 공개: 예
파라미터: 약 3.0B(하위 정책, HF safetensors BF16 3,015,404,136; 백본 Qwen3.5-2B); 상위 정책은 Qwen3.5-9B 기반 모델 3개 + Step1X-Edit world model, 시스템 총합 미기재

백본 LLM: Qwen3.5-2B (하위 정책 VLM; 상위 정책은 Qwen3.5-9B)
비전 인코더: Qwen3.5-2B 내장 비전(다시점 RGB)
액션 헤드: MoT 행동 전문가 조건부 flow matching(마스크 적용, Euler 10스텝) → 40차원 청크 (flow matching)
청크: 30스텝 × 40차원 (LIBERO 체크포인트 10, 8 실행)
제어 주기: 약 30 Hz 제어 루프 (상위 하위 과제 약 1초마다 갱신)
구조 원문 요약: Qwen3.5-2B VLM + Mixture-of-Transformers 행동 전문가(층별 공동 어텐션) → 조건부 flow matching(마스크 적용, Euler 10스텝) → 40차원 통합 상태·행동(EEF Rot6D·그리퍼·허리·평면 베이스 속도·팔 관절) 청크 H=30, 약 30 Hz 제어; 상위 정책(Qwen3.5-9B 제안·가치·반성 모델 + Step1X-Edit world model)이 하위 과제 언어 명령 생성

사전학습 가속기: 미공개
사전학습 기간: 미공개
사전학습 스텝·배치: 미공개
GPU·TPU-시간: 미공개
파인튜닝: 3단계 과제별 파인튜닝(과제별 소량 시연) 가속기·시간 미공개; LIBERO 체크포인트 60,000스텝 사후학습(GPU 미기재); 공개 예제 config는 bf16·DeepSpeed ZeRO-1·lr 2e-5·1,000스텝
데이터 종류: 실로봇 텔레옵 / 자율 정책 롤아웃 / UMI 데이터 / 멀티모달 VL 공동학습
데이터 규모: 40,115시간(내부 약 23.4K시간: AGIBOT G1 21.9K·G2 585·ARX AC One 578·Franka 347; 공개 데이터 약 16.7K시간, 그중 오픈소스 UMI 9.25K) + 멀티모달 VL 데이터(규모 미기재)
주요 데이터셋: 내부 AGIBOT G1/G2·ARX·Franka 시연; 오픈소스 UMI 데이터; 기타 공개 로봇 데이터셋(이름 미기재)
태스크·평가: 실환경 장기 과제 4종(과제당 10회, AGIBOT G1): 평균 SR 27.5%·진행률 80.1%, 계층(Plan Once) 45.0%·87.85%; 기준선 π0.5 22.5%, GR00T N1.7 2.5%, LingBot-VLA 0.0%; TTC로 Make Milk Tea 5→7/10, Book Organization 6→9/10, Clean Room 5→7/10; Collect Laundry 10/10(π0.5 9/10); LIBERO 평균 97.35%(README)
로봇: AGIBOT G1(바퀴형 휴머노이드, 전방향 4륜 조향 베이스, 7-DoF 양팔·평행 그리퍼); ARX AC One(6-DoF X5 양팔); Franka Research 3 양팔(7-DoF 2대); 학습에 AGIBOT G2·UMI 데이터 포함

추론 장치·속도: 하위 정책 약 30 Hz 제어 루프로 청크 실행, 상위 정책은 비동기 워커가 약 1초마다 하위 과제 갱신; 추론 GPU·지연 미기재(LIBERO 예시 서버 환경 RTX 4090, 10행동 예측 중 8 실행)
추론 메모리: 미공개
가중치 bf16 (계산): 6 GB
실행 위치: 추론 GPU 미기재 (LIBERO 예시 서버 RTX 4090)

강화학습: 미사용 · 논문·모델 카드에 강화학습 사용 언급 없음; 하위 정책은 flow matching 모방학습, 상위 모델은 지도 파인튜닝, 학습 데이터에 자율 정책 롤아웃 포함
베이스 제어: 바퀴형 (베이스 속도·자세 직접 출력) · 40차원 통합 행동에 평면 베이스 속도 2차원(23–24) 포함 → AGIBOT G1 전방향 바퀴 베이스를 정책이 직접 구동(Clean Room·Collect Laundry 등); ARX·Franka 과제는 베이스 없음

핵심 특징: 실행 메모리를 가진 상위 정책이 world model로 후보 하위 과제의 결과 영상을 예측하고 가치 모델로 평가해 빔 탐색하는 test-time computation 계층형 VLA이다. 40,115시간 실데이터로 학습한 하위 정책이 장기 과제 4종 평균 SR 27.5%(π0.5 22.5%)를 내고 계층 시스템(Plan Once)은 45.0%까지 올렸다.
비고: 하위 정책 3단계 학습(KI 공동학습 → 종단 공동학습 → 과제별 적응); 상위 데이터 라벨링에 Gemma4-31B-it 사용; 공개 HF 가중치는 하위 사전학습 정책(제로샷 제어기 아님, 사후학습용), 상위 Proposal·World Model은 별도 공개(2026-09); HF 공개 2026-07-27, arXiv v1 2026-08-17; 코드·가중치 Apache-2.0, 예제 데이터 CC BY-NC-SA 4.0
검증: 확인