VLA ギャラリー / モデル一覧 / ヒューマノイド全身制御器

Humanoid Locomotion as Next Token Prediction

UC Berkeley · 2024-02

VAヒューマノイド全身制御器1M / 2M / 8M回帰

実世界の歩行を次トークン予測問題とみなし、RL方策・モデルベース制御器・モーションキャプチャ・YouTube動画の軌跡を合わせて学習する。

論文

Humanoid Locomotion as Next Token PredictionarXiv 2402.19469

概要

分類

ヒューマノイド全身制御器

タイプ

VA

発表

2024-02

機関

UC Berkeley

重み公開

未確認

パラメータ

1M / 2M / 8M (埋め込み 144/192/384、ヘッド 3/4/12、ブロック 4/4/6)

構造

バックボーンLLM

なし

ビジョンエンコーダ

—

アクションヘッド

次トークン予測 (観測・行動) (回帰)

チャンク

非公開

制御周期

非公開

構造の原文要約

自己回帰Transformer(基本hidden 192、4層)、観測・行動トークン系列、コンテキスト16(32・48も実験); 同一モダリティの次トークン予測、欠損行動はマスクトークン[M]で埋めて損失から除外

学習

事前学習アクセラレータ

非公開

事前学習期間

非公開

事前学習ステップ・バッチ

非公開

GPU・TPU時間

非公開

ファインチューニング

該当なし

データ種類

シミュレーション・合成 / モーションキャプチャ / 人の動画

データ規模

ニューラルネット方策の軌跡10k本(各10秒、平地)、モデルベース制御器の軌跡10k本×2セット(各10秒)、KITモーションキャプチャ ~4kのうち~1k、YouTube動画(PHALPで処理、本数非公開)

主要データセット

Agility Roboticsシミュレータ軌跡、KITモーションキャプチャ、YouTube

タスク・評価

サンフランシスコの複数地点で1週間zero-shot歩行; 距離・成功回数は非公開

ロボット

Agility Digit

推論

推論デバイス・速度

制御周期は非公開

推論メモリ

非公開

重み bf16(計算)

0 GB

実行場所

非公開

強化学習・ベース

強化学習

一部 (RLデータの活用) · 次トークン予測(教師あり学習)。学習データの一部が大規模RL方策のシミュレーション軌跡10k件

強化学習の根拠

https://arxiv.org/html/2402.19469

ベース制御

ヒューマノイド歩行 (全身関節・姿勢を直接出力) · Transformerが関節位置行動を自己回帰出力し全方向速度指令に追従して歩行 (Digit、サンフランシスコでの実地歩行)

備考

主な特徴

実世界の歩行を次トークン予測問題とみなし、RL方策・モデルベース制御器・モーションキャプチャ・YouTube動画の軌跡を合わせて学習する。27時間の歩行データだけでも実世界に転移する。

備考

パラメータ(B)は最大バリアント8M。「27時間の歩行データ」は学習条件の記述で、全データ時間の合計はないためデータ時間はnull。学習computeはすべて非公開(検証で確認)。

検証

確認