VLA 갤러리 / 모델 목록 / 휴머노이드 전신 제어기

Humanoid Locomotion as Next Token Prediction

UC Berkeley · 2024-02

VA휴머노이드 전신 제어기1M / 2M / 8M회귀

실세계 보행을 다음 토큰 예측 문제로 보고 RL 정책·모델 기반 제어기·모션캡처·YouTube 영상 궤적을 함께 학습한다.

논문

Humanoid Locomotion as Next Token PredictionarXiv 2402.19469

개요

분류

휴머노이드 전신 제어기

유형

VA

발표

2024-02

기관

UC Berkeley

가중치 공개

미확인

파라미터

1M / 2M / 8M (임베딩 144/192/384, 헤드 3/4/12, 블록 4/4/6)

구조

백본 LLM

없음

비전 인코더

—

액션 헤드

다음 토큰 예측 (관측·행동) (회귀)

청크

미공개

제어 주기

미공개

구조 원문 요약

자기회귀 트랜스포머(기본 hidden 192, 4층), 관측·행동 토큰 시퀀스, 문맥 16(32·48도 실험); 같은 모달리티의 다음 토큰 예측, 결측 행동은 마스크 토큰 [M]으로 채우고 손실 제외

학습

사전학습 가속기

미공개

사전학습 기간

미공개

사전학습 스텝·배치

미공개

GPU·TPU-시간

미공개

파인튜닝

해당 없음

데이터 종류

시뮬레이션·합성 / 모션캡처 / 사람 영상

데이터 규모

신경망 정책 궤적 10k개(각 10초, 평지), 모델 기반 제어기 궤적 10k개 2세트(각 10초), KIT 모션캡처 ~4k 중 ~1k, YouTube 영상(PHALP 처리, 개수 미공개)

주요 데이터셋

Agility Robotics 시뮬레이터 궤적, KIT 모션캡처, YouTube

태스크·평가

샌프란시스코 여러 장소에서 1주일간 zero-shot 보행; 거리·성공 횟수 미공개

로봇

Agility Digit

추론

추론 장치·속도

제어 주기 미공개

추론 메모리

미공개

가중치 bf16 (계산)

0 GB

실행 위치

미공개

강화학습 · 베이스

강화학습

일부 (RL 데이터 활용) · 다음 토큰 예측(지도학습). 학습 데이터 일부가 대규모 RL 정책의 시뮬레이션 궤적 10k개

강화학습 근거

https://arxiv.org/html/2402.19469

베이스 제어

휴머노이드 보행 (전신 관절·자세 직접 출력) · 트랜스포머가 관절 위치 행동을 자기회귀 출력해 전방향 속도 명령 추종 보행 (Digit, 샌프란시스코 실보행)

비고

핵심 특징

실세계 보행을 다음 토큰 예측 문제로 보고 RL 정책·모델 기반 제어기·모션캡처·YouTube 영상 궤적을 함께 학습한다. 27시간 보행 데이터만으로도 실세계로 전이된다.

비고

파라미터(B)는 최대 변형 8M. '27시간 보행 데이터'는 학습 조건 진술이며 전체 데이터 시간 합계는 없어 데이터 시간은 null. 학습 compute 전부 미공개(검증 확인).

검증

확인