VLA 图库 / 模型列表 / 移动操作

SG-VLA

Lambda, Inc.·UC San Diego · 2026-03

VLA移动操作1.3B离散token

将还原机器人全局位姿·关节构型·抓取成功·目标物体位姿·分割掩码的辅助解码器与VLA分阶段联合训练，强化空间grounding。

论文

SG-VLA: Learning Spatially-Grounded Vision-Language-Action Models for Mobile ManipulationarXiv 2603.22760

概述

分类

移动操作

类型

VLA

发布

2026-03

机构

Lambda, Inc.·UC San Diego

权重公开

未核实

参数

1.3B (基于Qwen2.5-0.5B的Prismatic VLM；可选flow专家100M另计)

架构

主干LLM

Qwen2.5-0.5B · Prismatic VLM配置

视觉编码器

DINOv2 + SigLIP (Prismatic；RGB·深度多视角)

动作头

离散动作token + 辅助解码器5种；可选flow matching专家100M (10步) (离散token)

动作块

未公开（token路径）/ flow头 8步中执行2步

控制频率

未公开

架构原文摘要

Prismatic VLM(DINOv2 + SigLIP融合编码器, Qwen2.5-0.5B LLM);输入头部·手部多视角RGB·深度·过去4步历史;将13维动作(底盘位姿ΔX 3·躯干高度1·手臂关节Δq 7·夹爪2)预测为离散动作token;可选flow matching专家100M(动作块8中执行2,去噪10步);联合训练5种辅助解码器

训练

预训练加速器

不适用 (从预训练Prismatic VLM直接用任务数据训练)

预训练时长

不适用

预训练步数·批量

不适用

GPU·TPU-小时

未公开

微调

A100 8张，3阶段(解码器适配→联合精炼→冻结VLM后单独训练动作头)，6个子任务10个epoch(分割解码器模型pick·place为5个epoch)·全局批量512·Adam lr 2e-5固定，时间未公开

数据类型

仿真·合成

数据规模

44K回合·1.4M transition

主要数据集

ManiSkill-HAB数据生成流水线(TidyHouse·PrepareGroceries·SetTable)

任务·评估

ManiSkill-HAB(TidyHouse·PrepareGroceries·SetTable → Pick·Place·Open·Close)每任务30次: 平均0.73(无辅助任务0.60,简单联合训练0.51,flow头0.69;OpenVLA 0.04,多视角+深度OpenVLA 0.32);无真机实验

机器人

ManiSkill-HAB仿真移动操作机器人(按MS-HAB为Fetch;SG-VLA论文未注明机器人名),底盘·躯干·7关节手臂·夹爪13维控制

推理

推理设备·速度

未公开

推理显存

未公开

权重 bf16（计算）

2.6 GB

运行位置

未公开

强化学习与底盘

强化学习

部分 (利用RL数据) · 训练数据由ManiSkill-HAB生成流程(RL策略演示 + 基于规则的过滤)生成；策略本身为模仿学习

强化学习依据

https://arxiv.org/abs/2412.13211

底盘控制

轮式 (直接输出底盘速度/位姿) · 策略将底盘位姿变化(ΔX 3维)与躯干·手臂·夹爪一起作为13维动作直接输出(仿真)

备注

核心特点

将还原机器人全局位姿·关节构型·抓取成功·目标物体位姿·分割掩码的辅助解码器与VLA分阶段联合训练，强化空间grounding。ManiSkill-HAB家务任务平均成功率0.73，比无辅助任务的多视角·深度模型（0.60）高22%，大幅超过OpenVLA（0.04）。

备注

仅仿真(结论中将真实世界应用列为未来工作)。论文未提及代码·权重公开，检索也未找到仓库。历史长度的表述'4 timesteps'与'4 actions'混用。训练时长·推理速度未公开。算力由Lambda支持。基础：Prismatic VLMs: Investigating the Design Space of Visually-Conditioned Language Models (arXiv 2402.07865) — 以预训练Prismatic VLM为主干

核验

已确认