Genie Envisioner

Genie Envisioner (GE-Base/GE-Act/GE-Sim)

AgiBot(Genie Team)·LV-NUS Lab·BUAA · 2025-08

VLA产业界模型GE-Act 160M；GE-Base基于LTX-Video 2B·COSMOS2 2B视频world model

由轻量动作解码器（GE-Act）接收视频world model（GE-Base）的表示生成动作，GE-Sim充当动作条件视频模拟器。

论文

主干LLM: 无 (T5-XXL文本编码器)
视觉编码器: —
动作头: GE-Act自回归动作解码器160M (视频world model)
动作块: 54步
控制频率: 30 Hz
架构原文摘要: GE-Base：指令(T5-XXL冻结编码器)条件多视角视频扩散DiT(基于LTX-Video 2B·COSMOS2 2B，5Hz) + GE-Act：160M自回归动作解码器(30Hz，54步)

预训练加速器: NVIDIA A100(GE-Base 32张,GE-Act 16张)
预训练时长: GE-Base Stage I约7天 + Stage II约3天(各A100 32张)；GE-Act约3天(A100 16张)
预训练步数·批量: 未公开
GPU·TPU-小时: 8,832 (换算 · A100-小时(32×168 h + 32×72 h + 16×72 h))
微调: A100 ×8，约12 h(视频适配) + 约36 h(动作专精)
数据类型: 真实机器人遥操作
数据规模: AgiBot-World-Beta约100万episodes，2,967 h(引言表述：约3,000 h video-language对)；新embodiment遥操作1 h
主要数据集: AgiBot-World-Beta
任务·评估: AgiBot G1 5个任务(三明治、倒茶、擦桌子、微波炉、洗涤剂包装；与π0·UniVLA·GR00T N1对比)；sparse memory分析E2E 89 / SR 76(无memory时81 / 64)；RoboTwin 4个任务中3个超过π0·GO-1；以1 h数据适配Dual Franka叠布
机器人: AgiBot G1(主)；适配到Agilex Cobot Magic、Dual Franka；RoboTwin模拟器

核心特点: 由轻量动作解码器（GE-Act）接收视频world model（GE-Base）的表示生成动作，GE-Sim充当动作条件视频模拟器。在产业界模型中最详细地公开了各阶段GPU数量和天数。
备注: 参数(B)因总量未公开为null。预训练GPU·TPU-小时为GE-Base·GE-Act预训练3个阶段之和(约7天·3天·3天换算为168·72·72 h)。确认为语言指令条件模型(GE-Base instruction-conditioned，T5-XXL)，故归为VLA(修正了笔记中的VA/VLA边界；因基于视频world model也可视为其他)。权重已公开(修正了笔记中的未核实)：GE_base 2025-08-14，GE-Sim(Cosmos2) 2025-10-22，GE-Act(Calvin) 2025-12-18。技术报告公开2025-08-08。GE-Act的'torque'表述因原文核对结果不一致而未采用。
核验: 已反映修正