VLA 图库 / 模型列表 / 人形机器人全身控制器

Humanoid Locomotion as Next Token Prediction

UC Berkeley · 2024-02

VA人形机器人全身控制器1M / 2M / 8M回归

将真实世界行走视为下一个token预测问题，联合学习RL策略·基于模型的控制器·动作捕捉·YouTube视频轨迹。

论文

Humanoid Locomotion as Next Token PredictionarXiv 2402.19469

概述

分类

人形机器人全身控制器

类型

VA

发布

2024-02

机构

UC Berkeley

权重公开

未核实

参数

1M / 2M / 8M (嵌入144/192/384，头3/4/12，块4/4/6)

架构

主干LLM

无

视觉编码器

—

动作头

下一token预测（观测·动作） (回归)

动作块

未公开

控制频率

未公开

架构原文摘要

自回归Transformer(默认hidden 192，4层)，观测·动作token序列，上下文16(也实验了32·48)；预测同一模态的下一个token，缺失动作用掩码token [M]填充并排除在损失之外

训练

预训练加速器

未公开

预训练时长

未公开

预训练步数·批量

未公开

GPU·TPU-小时

未公开

微调

不适用

数据类型

仿真·合成 / 动作捕捉 / 人类视频

数据规模

神经网络策略轨迹10k条(各10秒，平地)，基于模型的控制器轨迹10k条2组(各10秒)，KIT动作捕捉~4k中的~1k条，YouTube视频(PHALP处理，数量未公开)

主要数据集

Agility Robotics模拟器轨迹，KIT动作捕捉，YouTube

任务·评估

在旧金山多个地点进行为期1周的zero-shot行走；距离·成功次数未公开

机器人

Agility Digit

推理

推理设备·速度

控制周期未公开

推理显存

未公开

权重 bf16（计算）

0 GB

运行位置

未公开

强化学习与底盘

强化学习

部分 (利用RL数据) · 下一token预测（监督学习）。部分训练数据为大规模RL策略的仿真轨迹 10k条

强化学习依据

https://arxiv.org/html/2402.19469

底盘控制

人形双足 (直接输出全身关节/位姿) · Transformer自回归输出关节位置动作，跟踪全向速度指令行走 (Digit，旧金山实地行走)

备注

核心特点

将真实世界行走视为下一个token预测问题，联合学习RL策略·基于模型的控制器·动作捕捉·YouTube视频轨迹。仅用27小时行走数据也能迁移到真实世界。

备注

参数(B)为最大变体8M。'27小时行走数据'是训练条件的陈述，没有全部数据时间合计，故数据时间为null。训练compute全部未公开(核查确认)。

核验

已确认