Chain-of-Action
ByteDance Seed; University of Adelaide; NUS; CAS; CSIRO · 2025-06
VAVA미공개회귀
목표 키프레임부터 현재 시점까지 궤적을 거꾸로 생성해 전역 목표를 행동에 반영한다.
논문
Chain-of-Action: Trajectory Autoregressive Modeling for Robotic ManipulationarXiv 2506.09990
개요
- 분류
- VA
- 유형
- VA
- 발표
- 2025-06
- 기관
- ByteDance Seed; University of Adelaide; NUS; CAS; CSIRO
- 가중치 공개
- 미확인
- 파라미터
- 미공개
구조
- 백본 LLM
- 없음
- 비전 인코더
- ResNet-18 (다중 시점)
- 액션 헤드
- 키프레임부터 역순 자기회귀 연속 행동 (회귀)
- 청크
- 미공개
- 제어 주기
- 미공개
- 구조 원문 요약
- 다중 시점 ResNet-18 + 트랜스포머 인코더 4층·디코더 7층; 키프레임 행동에서 시작하는 역순 자기회귀 궤적 생성, 연속 행동 토큰·잠재 일관성 손실, 학습 시 다중 토큰 예측 헤드, 동적 정지
학습
- 사전학습 가속기
- 해당 없음
- 사전학습 기간
- 해당 없음
- 사전학습 스텝·배치
- 해당 없음
- GPU·TPU-시간
- 미공개
- 파인튜닝
- 과제별: H100 1장, 20,000 반복, 배치 128(README 기본값 동일); 시간 미공개
- 데이터 종류
- 시뮬레이션·합성; 실로봇 텔레옵
- 데이터 규모
- RLBench 과제당 100데모; 실제 과제당 35–81데모
- 주요 데이터셋
- RLBench; 자체 Fetch 데이터
- 태스크·평가
- RLBench 60과제 중심; Fetch 실제 주방 8과제
- 로봇
- Fetch(실제); RLBench 시뮬레이션
추론
- 추론 장치·속도
- 미공개
- 추론 메모리
- 미공개
- 가중치 bf16 (계산)
- 미공개
- 실행 위치
- 미공개
강화학습 · 베이스
- 강화학습
- 미사용 · 모방학습(행동 복제)만 사용
- 베이스 제어
- 고정 · 베이스 이동은 Fetch 내장 LiDAR 내비게이션(별도 스택); 정책은 EE 절대 자세만
비고
- 핵심 특징
- 목표 키프레임부터 현재 시점까지 궤적을 거꾸로 생성해 전역 목표를 행동에 반영한다. 과제당 H100 1장으로 학습한다.
- 비고
- ACT·DP 대비 향상을 보고했으나 노트에 수치 없음.
- 검증
- 확인
같은 분류의 모델
- Mobile ALOHA2024-01
- ALOHA Unleashed2024-10
- HPT2024-09
- BAKU2024-06
- VQ-BeT2024-03
- ScaleDP2024-09†
- UMI2024-02
- DP32024-03
- Data Scaling Laws2024-10
- RISE2024-04
- Robot Utility Models (RUM)2024-09
- EgoMimic2024-10
- InterACT2024-09†
- CARP2024-12†
- Dense Policy2025-03
- BRS (WB-VIMA)2025-03