Cosmos Policy

NVIDIA + Stanford · 2026-01

기타2026年新增2B视频world model

将预训练视频模型不改结构地训练为策略的视频模型策略。

论文

主干LLM: 无 (视频扩散主干)
视觉编码器: —
动作头: 以潜在帧生成动作·未来状态·价值 (视频world model)
动作块: 50步 (2秒)
控制频率: 25 Hz
架构原文摘要: Cosmos-Predict2-2B-Video2World视频扩散模型(结构不变)；将动作·未来状态·价值作为潜在帧一并生成；ALOHA动作块50步(2秒)，控制50→25 Hz

预训练加速器: 不适用 (由视频模型初始化，未报告视频预训练compute)
预训练时长: 不适用
预训练步数·批量: 不适用
GPU·TPU-小时: 未公开
微调: LIBERO H100 64张48小时(40K steps·批量1920);RoboCasa H100 32张48小时(45K·800);ALOHA H100 8张48小时(50K·200)
数据类型: 仿真·合成(LIBERO·RoboCasa人类遥操作演示) + 真实机器人遥操作(ALOHA)
数据规模: LIBERO演示500条†(论文)/2000条(README);RoboCasa每任务50条(24项任务,README 1200条);ALOHA每任务15–80条(README不足200条)
主要数据集: LIBERO, RoboCasa, ALOHA
任务·评估: LIBERO平均98.5%;RoboCasa 67.1%(每任务演示50条,原为300条);真实ALOHA平均分93.6
机器人: 仿真单臂(LIBERO·RoboCasa)，真实双臂ALOHA

强化学习: 部分 (价值学习/规划) · 策略为监督学习。用rollout的蒙特卡洛回报学习价值预测，用于best-of-N基于模型的规划(论文未称其为RL)
强化学习依据: https://arxiv.org/html/2601.16163v1
底盘控制: 固定 · 无底盘控制（LIBERO·RoboCasa仿真机械臂，真实ALOHA固定双臂）

核心特点: 将预训练视频模型不改结构地训练为策略的视频模型策略。支持best-of-N基于模型的规划。
备注: 已反映修正：代码·模型·训练数据已公开(例：nvidia/Cosmos-Policy-LIBERO-Predict2-2B)。笔记将其归为VLA级视频模型策略(类型因视频·动作联合生成而为其他)。对比模型π0.5·π0·OpenVLA-OFT+也采用H100 8块×48小时的相同预算。出处未再注明是否为DiT。
核验: 已反映修正