Genie Envisioner

Genie Envisioner (GE-Base/GE-Act/GE-Sim)

AgiBot(Genie Team)·LV-NUS Lab·BUAA · 2025-08

VLA산업계 모델GE-Act 160M영상 world model

비디오 world model(GE-Base)의 표현을 경량 행동 디코더(GE-Act)가 받아 행동을 만들고, GE-Sim이 행동 조건 비디오 시뮬레이터 역할을 한다.

논문

백본 LLM: 없음 (T5-XXL 텍스트 인코더)
비전 인코더: —
액션 헤드: GE-Act 자기회귀 행동 디코더 160M (영상 world model)
청크: 54스텝
제어 주기: 30 Hz
구조 원문 요약: GE-Base: 지시(T5-XXL 고정 인코더) 조건 다시점 비디오 확산 DiT(LTX-Video 2B·COSMOS2 2B 기반, 5Hz) + GE-Act: 160M 자기회귀 행동 디코더(30Hz, 54스텝)

사전학습 가속기: NVIDIA A100(GE-Base 32장, GE-Act 16장)
사전학습 기간: GE-Base Stage I 약 7일 + Stage II 약 3일(각 A100 32장); GE-Act 약 3일(A100 16장)
사전학습 스텝·배치: 미공개
GPU·TPU-시간: 8,832 (환산 · A100-시간(32×168 h + 32×72 h + 16×72 h))
파인튜닝: A100 ×8, 약 12 h(비디오 적응) + 약 36 h(행동 특화)
데이터 종류: 실로봇 텔레옵
데이터 규모: AgiBot-World-Beta 약 100만 episodes, 2,967 h(서론 표현: 약 3,000 h video-language 쌍); 새 embodiment는 텔레옵 1 h
주요 데이터셋: AgiBot-World-Beta
태스크·평가: AgiBot G1 5과제(샌드위치, 차 따르기, 테이블 닦기, 전자레인지, 세제 포장; π0·UniVLA·GR00T N1과 비교); sparse memory 분석 E2E 89 / SR 76(memory 없이 81 / 64); RoboTwin 4과제 중 3과제 π0·GO-1 상회; Dual Franka 천 접기를 1 h 데이터로 적응
로봇: AgiBot G1(주); Agilex Cobot Magic, Dual Franka로 적응; RoboTwin 시뮬레이터

추론 장치·속도: 로봇 탑재 RTX 4090에서 54스텝(30Hz) 행동 forward pass 200ms; 비디오 DiT 5Hz·행동 30Hz 비동기 추론
추론 메모리: 미공개
가중치 bf16 (계산): 미공개
실행 위치: 온보드 (RTX 4090)

핵심 특징: 비디오 world model(GE-Base)의 표현을 경량 행동 디코더(GE-Act)가 받아 행동을 만들고, GE-Sim이 행동 조건 비디오 시뮬레이터 역할을 한다. 산업계 모델 중 단계별 GPU 수와 일수를 가장 상세히 공개했다.
비고: 파라미터(B)는 총량 미공개라 null. 사전학습 GPU·TPU-시간은 GE-Base·GE-Act 사전학습 3단계 합(약 7일·3일·3일을 168·72·72 h로 환산). 언어 지시 조건 모델(GE-Base instruction-conditioned, T5-XXL)로 확인돼 VLA로 분류(노트의 VA/VLA 경계를 수정; 비디오 world model 기반이라 기타로 볼 수도 있음). 가중치 공개(노트의 미확인을 수정): GE_base 2025-08-14, GE-Sim(Cosmos2) 2025-10-22, GE-Act(Calvin) 2025-12-18. 기술보고서 공개 2025-08-08. GE-Act 'torque' 표현은 원문 확인이 엇갈려 쓰지 않음.
검증: 수정 반영