CrossFormer

UC Berkeley·Carnegie Mellon University · 2024-08

VLA내비게이션130M회귀

20종 엠바디먼트의 900K 궤적을 관측·행동 공간 정렬 없이 하나의 130M 트랜스포머로 학습해 단일·양팔, 바퀴형, 사족, 쿼드콥터를 모두 제어한다.

논문

백본 LLM: 없음
비전 인코더: ResNet-26 (ImageNet 초기화, FiLM 언어 조건)
액션 헤드: 엠바디먼트별 L1 회귀 헤드 (내비 웨이포인트 4개·사족 관절 12차원 등) (회귀)
청크: 내비 웨이포인트 4개 (팔 4·양팔 100·사족 1)
제어 주기: 내비 4 Hz · 사족 20 Hz · 양팔 20 Hz · 팔 5–15 Hz
구조 원문 요약: ResNet-26 이미지 토크나이저(언어 FiLM 조건) + 고유감각 선형 투영 → 인과 트랜스포머 12층·8헤드(512차원, 엠바디먼트별 readout 토큰) → L1 회귀 헤드: 내비 2D 웨이포인트 4개(4 Hz), 단일 팔 EEF 4스텝(5–15 Hz), 양팔 관절 100스텝(20 Hz), 사족 12차원 관절 위치 1스텝(20 Hz)

사전학습 가속기: TPU v5e-256 pod
사전학습 기간: 47시간(본문 3.4절·README)/80시간(부록 B)
사전학습 스텝·배치: 300k 스텝 · 배치 512
GPU·TPU-시간: 12,032 (환산 · TPU v5e 256칩 × 47시간 (부록 B의 80시간 적용 시 20,480))
파인튜닝: 해당 없음 (평가는 사전학습 모델 그대로; README에 미세조정 스크립트 제공)
데이터 종류: 실로봇 텔레옵 / 실로봇 자율 주행 로그
데이터 규모: 900K 궤적·20개 엠바디먼트 (그림 1은 30); GNM 내비 60시간(샘플링 비중 17%), ALOHA 7K 궤적, Go1 보행 25분
주요 데이터셋: Open X-Embodiment(Octo 단일 팔 혼합); DROID; ALOHA-multi-task; GNM; Go1-walk; Franka-tabletop
태스크·평가: 6개 로봇 평균 성공률 73% (단일 로봇 정책 67%, 기존 최고 51%); LoCoBot 장애물 회피 0.95·코너 0.95·급코너 0.88 (기존 최고 방법 0.30·0.85·0.30); Tello 코너 0.82 (기준선 0.68)
로봇: WidowX·Franka 단일 팔, ALOHA 양팔 (고정); LoCoBot 바퀴형; Unitree Go1 사족; DJI Tello 쿼드콥터 (비행 데이터 학습 없음)

추론 장치·속도: 내비·드론: 별도 서버에서 추론 후 무선 전송; 매니퓰레이션: RTX 4090급 로컬 GPU; 내비 4 Hz·사족 20 Hz; 지연 미공개 (추론 속도를 한계로 언급)
추론 메모리: 미공개
가중치 bf16 (계산): 0.3 GB
실행 위치: 원격 서버 (내비·드론, 무선 전송)

강화학습: 일부 (RL 데이터 활용) · Go1 보행 데이터만 시뮬 RL 전문가 정책 롤아웃으로 수집; CrossFormer 자체는 L1 모방학습
강화학습 근거: https://arxiv.org/pdf/2408.11812
베이스 제어: 바퀴형·사족보행·비행 (웨이포인트 → 추종 제어기) · 내비 헤드가 2D 상대 웨이포인트 4개 출력(LoCoBot은 위상 그래프 subgoal 추종, Tello는 고도 고정) / 사족 헤드가 12차원 다리 관절 위치를 20 Hz로 직접 출력 / 팔 헤드는 EEF·관절 목표

핵심 특징: 20종 엠바디먼트의 900K 궤적을 관측·행동 공간 정렬 없이 하나의 130M 트랜스포머로 학습해 단일·양팔, 바퀴형, 사족, 쿼드콥터를 모두 제어한다. 6개 로봇 평균 성공률 73%로 단일 로봇 전용 정책(67%)과 기존 최고 교차 엠바디먼트 방법(51%)보다 높았다.
비고: 학습 시간 본문·README 47h와 부록 B 80h 불일치. 엠바디먼트 수 본문 20·그림 1 30 불일치. Go1 데이터는 시뮬 RL 전문가 정책 롤아웃. 언어 인코더는 논문 미명시(공식 설정은 Universal Sentence Encoder). HF 체크포인트 519MB(300k 스텝), MIT 라이선스. LoCoBot 내비는 위상 그래프·목표 이미지 조건. 총 데이터 시간 미기재. 기반: Octo: An Open-Source Generalist Robot Policy (arXiv 2405.12213) — Octo 코드베이스 기반 (README 명시)
검증: 확인