RING (The One RING)

Allen Institute for AI·University of Washington · 2024-12

VLA导航未公开离散token

在仿真中以随机化相机位置·视场角·碰撞体尺寸等的100万种embodiment的专家轨迹进行模仿学习，再用DD-PPO进行RL微调，得到与形态无关的室内物体搜索策略。

论文

主干LLM: 无
视觉编码器: SigLIP-ViT-B/16 (固定)
动作头: 线性actor-critic头 (离散动作logit + 价值) (离散token)
动作块: 无 (单步离散动作)
控制频率: 未公开
架构原文摘要: 固定SigLIP-ViT-B/16图像·文本编码器(768→512投影) → Transformer状态编码器3层 + 因果Transformer解码器3层(512维·8头，上下文100步) → 线性actor-critic头：通用离散动作(MoveBase ±20cm，RotateBase ±6°·±30°，Done)

预训练加速器: H100 80GB 8张 (IL)
预训练时长: 未公开
预训练步数·批量: 80k次迭代 · 批量240条轨迹(表10为224)，上下文100步
GPU·TPU-小时: 未公开
微调: DD-PPO RL微调：H100 8张 × 4台，40M步(并行环境64·rollout 128)，时间未公开
数据类型: 仿真·合成
数据规模: 随机具身100万个·ProcTHOR房屋50k的专家轨迹（引言提及150k房屋）
主要数据集: ProcTHOR程序生成住宅 + Objaverse物体 (AI2-THOR);HF allenai/ring-data
任务·评估: 仿真ObjectNav 5种embodiment平均成功率72.1% (FLaRe 44.8%，PoliFormer 55.4%，SPOC-2.3M 35.5%；CHORES-S提升16.7%p)；真实世界Stretch 83.3%·Stretch(出厂配置)72.2%·LoCoBot 80.0%·Go1 80.0% (平均78.9%)
机器人: 真实世界：Stretch RE-1(2种相机配置)·LoCoBot轮式，Unitree Go1四足，RB-Y1轮式人形机器人(定性评估)；仿真：Stretch·LoCoBot·Unitree A1等

强化学习: 使用 (VLA RL后训练) · 专家轨迹模仿学习后，用DD-PPO对策略本身进行RL微调 (40M步)
强化学习依据: https://arxiv.org/html/2412.14401v2
底盘控制: 轮式·四足 (离散移动动作) · 输出所有具身共用的离散动作（MoveBase ±20cm·RotateBase ±6°/±30°·Done），由各机器人的下层控制器执行

核心特点: 在仿真中以随机化相机位置·视场角·碰撞体尺寸等的100万种embodiment的专家轨迹进行模仿学习，再用DD-PPO进行RL微调，得到与形态无关的室内物体搜索策略。仿真5种embodiment平均成功率72.1%，在真实Stretch RE-1·LoCoBot·Go1等4个平台上零样本达到78.9%。
备注: 列表外新增：2024–2026 跨具身·语言目标导航泛化策略的代表案例。IL批量正文240·表10 224，RL lr正文2e-5·表10 2e-4不一致。参数·训练时间·推理设备未公开。HF检查点 587MB（ring_model_step_40356421）。
核验: 已确认