VLA 갤러리 / 모델 목록 / 자기회귀·잠재 액션 VLA

CoT-VLA

Stanford·NVIDIA·MIT · 2025-03

VLA자기회귀·잠재 액션 VLA7B이산 토큰

하위목표 이미지를 먼저 생성하는 시각적 사고 사슬(visual CoT) VLA다.

논문

CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action ModelsarXiv 2503.22020

개요

분류

자기회귀·잠재 액션 VLA

유형

VLA

발표

2025-03

기관

Stanford·NVIDIA·MIT

가중치 공개

미확인

파라미터

7B(VILA-U)

구조

백본 LLM

VILA-U 7B (Llama 2 7B 기반)

비전 인코더

VILA-U 비전 토크나이저

액션 헤드

하위목표 이미지 생성 → 256-bin 토큰 (이산 토큰)

청크

10스텝

제어 주기

미공개

구조 원문 요약

VILA-U 7B(이해·생성 통합); 하위목표 이미지 생성 후 청크 10 액션, 액션당 256-bin 토큰 7개(액션은 full attention)

학습

사전학습 가속기

A100 96장(8장 × 12노드)

사전학습 기간

미공개(총량 11K A100-시간만 명시)

사전학습 스텝·배치

10 epochs, global batch 2048, lr 1e-4, 256×256 이미지

GPU·TPU-시간

11,000 (명시 · A100-시간)

파인튜닝

A100 노드 1개, 10–24 h(데이터 크기에 따라), lr 1e-5·150 epochs

데이터 종류

실로봇 텔레옵 + 사람 영상

데이터 규모

미공개(혼합 비율만: Bridge 24.14%, SSv2 3.45%, EPIC-KITCHENS-100 3.45%)

주요 데이터셋

OXE 부분집합, Something-Something V2, EPIC-KITCHENS-100

태스크·평가

LIBERO 평균 81.13%; Bridge-V2 WidowX; Franka-Tabletop

로봇

WidowX, Franka, LIBERO 시뮬레이션

추론

추론 장치·속도

절대 속도 미공개; 청크 10 기준 평균 7배 느려짐

추론 메모리

미공개

가중치 bf16 (계산)

14 GB

실행 위치

미공개

강화학습 · 베이스

강화학습

미사용 · 하위목표 이미지 생성 + 모방학습

베이스 제어

고정 · 베이스 제어 없음 (WidowX·Franka 팔)

비고

핵심 특징

하위목표 이미지를 먼저 생성하는 시각적 사고 사슬(visual CoT) VLA다. 이미지 토큰 256개를 먼저 생성해 청크 10 기준 평균 7배 느려진다.

비고

가중치 공개 여부는 확인불가†(프로젝트 페이지 링크는 arXiv뿐).

검증

확인