CogACT

Tsinghua University, Microsoft Research Asia, USTC, Institute of Microelectronics CAS · 2024-11

VLAFlow·Diffusion VLA7.6Bdiffusion

VLM이 낸 cognition token을 조건으로 별도 DiT가 액션 시퀀스를 생성하고 Adaptive Action Ensemble로 청크를 합친다.

논문

분류: Flow·Diffusion VLA
유형: VLA
발표: 2024-11
기관: Tsinghua University, Microsoft Research Asia, USTC, Institute of Microelectronics CAS
가중치 공개: 예
파라미터: 7.6B(본문, RT-2-X 55B와 비교한 값); 액션 DiT Small 13M/Base 89M(기본)/Large 308M(보충자료 표)·최대 300M(본문)

백본 LLM: Llama 2 7B · Prismatic-7B
비전 인코더: SigLIP + DINOv2
액션 헤드: DiT 확산 액션 모듈 (Base 89M, DDIM 10) (diffusion)
청크: 16스텝
제어 주기: 미공개
구조 원문 요약: Prismatic VLM(DINOv2+SigLIP, LLaMA-2) cognition token + DiT 확산 액션 모듈(Small 13M/Base 89M/Large 308M); 16스텝×7-DoF 청크(미래 N=15), 학습 시 샘플당 확산 8스텝, 추론 DDIM 10스텝·cfg 1.5

사전학습 가속기: A100×16(FSDP)
사전학습 기간: 약 5일
사전학습 스텝·배치: 135K iter 이상, 배치 256, lr 2e-5 상수
GPU·TPU-시간: 1,920 (환산(약) · A100-시간 (16장 × 약 5일))
파인튜닝: 실기(Realman): A100×16 FSDP 전체 파인튜닝, 10K 스텝 체크포인트, 7.5 h; README: A100×8 1노드, global 배치 256(장치당 32), 약 30 에폭 권장
데이터 종류: 실로봇 텔레옵
데이터 규모: OXE 부분집합 25개 데이터셋, 0.4M 궤적·22.5M 프레임; 실기 파인튜닝 Realman 391 시연, Franka 과제당 100(총 400)
주요 데이터셋: Open X-Embodiment 부분집합(25개)
태스크·평가: SIMPLER Google Robot VM 74.8%·VA 61.3%, WidowX VM 51.3%; Realman 실기 평균 71.2%(Pick 70.8, Stack 82.3, Place 60.4); Franka 실기 4과제 평균 61.4%
로봇: Google Robot, WidowX, Realman, Franka(단일 팔)

추론 장치·속도: A6000 bf16: 1회 약 181 ms(16 액션), Adaptive Action Ensemble로 약 5.5 Hz(같은 장비 OpenVLA 307 ms·1 액션); fp32 약 30 GB
추론 메모리: fp32 약 30 GB (A6000)
가중치 bf16 (계산): 15.2 GB
실행 위치: 로컬 PC

핵심 특징: VLM이 낸 cognition token을 조건으로 별도 DiT가 액션 시퀀스를 생성하고 Adaptive Action Ensemble로 청크를 합친다. 7.6B로 SIMPLER Google Robot VM 74.8%, Realman 실기 평균 71.2%를 냈다.
비고: 7.6B가 어느 DiT 크기 기준인지 원문에 명시되지 않음(기본 액션 모듈은 DiT-Base). 노트의 'Franka 30K 체크포인트'는 베이스라인(Octo·OpenVLA) 값이라 삭제; CogACT는 10K 스텝 체크포인트 하나만 시험. 최대 DiT는 표 308M/본문 300M. 체크포인트 30 GB.
검증: 수정 반영