VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

ECoT

ECoT (Embodied Chain-of-Thought)

UC Berkeley·Stanford·University of Warsaw · 2024-07

VLA자기회귀·잠재 액션 VLA7B이산 토큰

액션 전에 계획·하위과제·물체 위치 같은 구체적 추론을 생성해 OpenVLA의 절대 성공률을 28% 높였다.

논문

Robotic Control via Embodied Chain-of-Thought ReasoningarXiv 2407.08693

개요

분류

자기회귀·잠재 액션 VLA

유형

VLA

발표

2024-07

기관

UC Berkeley·Stanford·University of Warsaw

가중치 공개

예

파라미터

7B(OpenVLA 기반)

구조

백본 LLM

Llama 2 7B · OpenVLA

비전 인코더

SigLIP + DINOv2

액션 헤드

추론 텍스트 → 256-bin 토큰 (이산 토큰)

청크

없음 (1스텝)

제어 주기

미공개

구조 원문 요약

OpenVLA/Prismatic-7B; 추론 텍스트(TASK·PLAN·SUBTASK·MOVE·GRIPPER·OBJECTS, 바운딩 박스 포함) 뒤 256-bin 액션 토큰

학습

사전학습 가속기

미공개(README 예시는 GPU 8장)

사전학습 기간

미공개

사전학습 스텝·배치

Bridge 추론 주석 데이터 80k steps(ecot-openvla-7b-bridge); 배치 미공개

GPU·TPU-시간

미공개

파인튜닝

OXE 변형: OXE 액션 학습 후 추론 혼합 데이터로 20k steps 추가; GPU·시간·배치 미공개

데이터 종류

실로봇 텔레옵 + 시뮬레이션·합성(합성 추론 주석)

데이터 규모

Bridge v2 2.5M+ transitions(주석 에피소드 수 미공개)

주요 데이터셋

BridgeData V2, Embodied-CoT/embodied_features_bridge, OXE(변형)

태스크·평가

WidowX 일반화 평가(접근법당 314회); OpenVLA 대비 절대 성공률 +28%

로봇

WidowX(Bridge)

추론

추론 장치·속도

bf16 16 GB, 4-bit 약 5 GB(README); Hz 미공개; 5-step freeze +24%, 비동기 +40% 속도

추론 메모리

bf16 16 GB · 4-bit 약 5 GB (README)

가중치 bf16 (계산)

14 GB

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 추론 텍스트를 포함한 지도학습

베이스 제어

고정 · 베이스 제어 없음 (WidowX 팔)

비고

핵심 특징

액션 전에 계획·하위과제·물체 위치 같은 구체적 추론을 생성해 OpenVLA의 절대 성공률을 28% 높였다. 스텝당 토큰이 7개에서 약 350개로 늘어난다.

비고

추론 주석 파이프라인(Prismatic-7B·Grounding DINO·OWLv2·SAM·Gemini 1.0)은 7일 걸렸다. 논문 전문에 GPU·배치 기재가 없다.

검증

확인