GPT-4o 会画吉卜力、会「自拍」，关联词能拼好乐高吗？

你有莫得想过这么的问题：

多模态大谈话模子确凿具备清醒和推理空间结构的智力吗？

在多步空间推理任务上，现存 MLLMs 究竟进展得若何？

连年来，跟着多模态大谈话模子的飞快发展，视觉清醒、图文对皆、谈话生成等智力束缚破损，仿佛东说念主类助手已垂手而得。

但在需要多法子空间感知与逻辑推理的复杂场景中。

举例机器东说念主安装、自动驾驶有筹画、3D 物体清醒等，多模态大模子的信得过"空间身手"究竟若何？

为此，上海东说念主工智能实验室长入同济大学与清华大学，提议了全新基准 LEGO-Puzzles，以乐高拼搭为载体，初次系统评估现存多模态大模子（MLLMs）在多步空间推理（multi-step spatial reasoning）任务中的骨子进展。

LEGO-Puzzles：全面遮掩多步空间推理的基准数据集

评估多模态大模子的多步空间推明智力，一个中枢挑战是：若何构建既信得过又结构了了的任务？

比较起执行宇宙视频或图像中的深广配景和不笃定性，LEGO 拼搭过程具备自然的评测上风。它不仅结构规则、每一步明确、空间变化了了，还领有高度可控的任务序列。

不同于视频帧之间可能存在的时间逻辑进步或视角漂移，LEGO 的每一拼装法子都具有厚实且严实的空间逻辑。此外，视觉各种性亦然 LEGO 的一大上风。

各种体式、豪情、组合相貌带来了丰富的视觉抒发，同期又幸免了执行图像中复杂纹理和配景的打扰。

更伏击的是，团队基于公开 LEGO 积木源文献自动生成大限度、可推广的任务数据，既检朴标注老本，又保证高质地与一致性。因此，岂论从建模逻辑、可控性，依然数据成果来看，LEGO 都是多步空间推理的梦想载体。

依托 LEGO 所具备的结构规则性与空间变化可控性，团队构建了一个专注于多模态大模子多步空间推明智力评估的基准数据集：LEGO-Puzzles。

数据集基于从互联网集聚的开源 LEGO 技俩源文献，通过 Bricklink 官方软件 Studio 进行渲染，并蛊惑 POV-Ray 生成多视角高质地图像，互助任务模板自动生成问题与选项，最终构建出 1100+ 全心联想的任务样本。

这些样本遮掩 11 种任务类型，按功能阔别为三大类，援助两种任务局势：视觉问答（VQA）与图像生成（Image Generation）。

LEGO-Puzzles 的任务联想服从东说念主类在 LEGO 拼搭中的当然判辨进程，从不雅察结构、推论操作到合座收复，逐渐普及任务难度，具体包括：

空间清醒（Spatial Understanding）: 判断乐高组件的高矮相关、连续相关和旋转角度；凭据不同视角清醒乐高结构。

单步推理（Single-Step Reasoning）：评估下一个组件的旋转气象、安装位置，以及安装后的下一步气象和所需组件。

多步推理（Multi-Step Reasoning）：推理安装过程中的中间气象、合座安装礼貌，以及识别不稳妥礼貌的特殊气象。

合座任务设立遮掩从基础感知到多步有筹画，具有高度结构性、序列依赖性与空间各种性。

同期，图像生成版块进一步拓展了评测维度，使得 LEGO-Puzzles 不仅能磨真金不怕火模子"看图作念题"的清醒力，也能测试"看题绘制"的构建智力。

模子进展若何？闭源领跑，但仍远不足东说念主类

团队在 LEGO-Puzzles 基准上系统评测了 20 个多模态大模子（MLLMs），包括 GPT-4o、Gemini 系列、Claude 3.5，以及 Qwen2.5-VL、InternVL 等开源模子。涵盖视觉问答（VQA）与图像生成两大类任务。

开源 vs 闭源：智力畛域仍彰着

合座来看，闭源模子在统共任务上普遍优于开源模子。GPT-4o 以 57.7% 的平均准确率位居榜首，Gemini-2.0-Flash 紧随自后（54.0%），而最好开源模子 Qwen2.5-VL-72B 仅为 46.6%，其余开源模子大多落在 30%～40% 区间，接近致使低于就地基线（27.5%） 。

在部分环节子任务上，开源模子的进展不仅不厚实，致使存在系统性失效。举例在" Ordering "任务中，多达 4 个开源模子准确率为 0，而在" Height "任务中，有一半模子准确率低于就地水平。这标明现时无数开源 MLLMs 还无法建树起有用的空间构型暗示或推理旅途，相配是在三维结构感知和多步气象清醒方面存在根柢短板。

MLLMs vs 东说念主类：距离信得过智能还有多远？

为了更直不雅地比较 MLLMs 与东说念主类在空间任务上的进展，团队构建了LEGO-Puzzles-Lite 子集，从好意思满数据蚁集每类任务中就地抽取 20 题，认为 220 个样本，邀请 30 位具备说合专科配景的民众参与答题。

实验终局闪现：东说念主类在统共任务上的平均准确率为 93.6%，险些在统共任务中都进展厚实。而 GPT-4o 固然是最强模子，在该子集上仅达到 59.1%。其他模子进展更为失色，Gemini-2.0-Flash 为 55.5%，Qwen2.5-VL-72B 为 48.2% 。

相配是在多步推理任务中，模子与东说念主类之间的差距进一步被放大。以" Backwards "和" Ordering "为例，GPT-4o 的得分落在 55% 和 60%，而东说念主类均为 95%。这充分阐发，现时模子在处置多步空间推明智力上，与东说念主类之间仍有权臣判辨畛域。

图像生成：看得见的空间推理"不幸现场"

除了视觉问答外，LEGO-Puzzles 还包含了一个成心用于评估视觉生成智力的子集，联想了 5 类图像生成任务，分别对应于主任务中的 Rotation、Multiview、Next-Step、Position 与 Dependency。

每个样本条件模子在给定拼搭气象和操作指示的前提下，生成方向结构图像。团队从主数据蚁集为这五类任务推广构建图像生成输入输出，并邀请东说念主工民众对生成终局进行双重维度评分：

Appearance（App）：图像是否在合座结构上保留了方向气象的特征；

Instruction Following（IF）：图像是否准确响应了指定的拼搭操作。

评测模子包含 GPT-4o、Gemini-2.0-Flash，以及开源的 Emu2、GILL、Anole 等具备图像生成智力的模子。

终局标明，仅有 Gemini-2.0-Flash 在两项筹画上均达到中等及以上水平（App: 2.15 / IF: 1.17），在结构保真度和指示推论力之间保执了较好的均衡。

比较之下，GPT-4o 的生成过程更像是基于指示语义进行场景重构，而非逐渐剪辑输入图像。这种政策使得它在指示清醒方面进展尚可，但在结构收复方面存在彰着不足，生成图像在细节与合座结构上连接偏离原始图像，导致其 appearance 得分权臣低于 Gemini-2.0-Flash。

需要阐发的是，本次评测使用的是 2025 年 3 月 6 日前的 GPT-4o 版块，团队也正在测试新版 GPT-4o 的图像生成智力，后续评测中将实时更新。

Emu2 的图像生成与原图外不雅相通度较高，但险些无法体现任何操作变化，呈现出典型的"图像重建"步履，穷乏对任务指示的响应。

而 GILL 和 Anole 在统共子任务中基本失效，生成终局与方向结构无关，IF 得分接近于 0，阐发它们在空间清醒与推论方面均不具备有用智力。

一步能答对，五步就乱了？多步推理让模子"断片"

为了更深化评估 MLLMs 在复杂空间序列任务中的推明智力，团队引入了一个针对多步构建链条的推广实验：Next-k-Step。该实验建树在原有的单步任务" Next-Step "之上，进一步条件模子在一语气推论多个拼搭操作后，识别正确的最终拼搭气象，模拟更面对信得过场景中的多步空间构建推理。

实验设立中，团队终了拼搭操作步数 k 从 1 加多到 5，逐渐加深推理链长度，对模子的连贯性建模与气象系念智力提议更高条件。输入包括现时 LEGO 气象、接下来的 k 个组件图，以及对应的方向图像和候选选项；模子需从中判断哪一张是合理的拼搭终局。团队还引入 Chain-of-Thought（CoT）教导词，探索"逐渐念念考"是否能在视觉场景中带来推感性能普及 。

终局闪现，大无数模子在 k=1 时仍有一定推明智力，如 GPT-4o 可达 75%（使用 CoT），Gemini-2.0-Flash 高达 85%。

但跟着 k 增大，准确率权臣下滑，GPT-4o 在 k=4 和 k=5 情况下险些迷漫失效，准确率降至 0 – 5%。

即使引入 CoT 教导，大部分模子在 k > 2 后仍无法守护有用推理旅途，阐发谈话模子中常见的 CoT 本事对视觉多步空间任务的匡助极为有限。

值得堤防的是，Qwen2.5-VL-72B 在不同步数下进展相对厚实，准确率长期守护在 65% 掌握，展现出一定的结构系念智力；而 InternVL-2.5-78B 则在无数情境下准确率接近就地水平。

这一系列实验揭示出：现时主流 MLLMs 在处置多法子空间逻辑时，存在彰着的"推理衰减"问题。

归来

LEGO-Puzzles是一个专为评估多模态大模子在复杂空间推理任务中的智力而联想的全新基准，涵盖 1100+ 任求实例，遮掩从静态结构识别到多步时序重建在内的 11 类子任务。数据集同期援助 VQA 与图像生成，为模子提供了多模态输入、各种化输出的好意思满测评旅途。

团队对现时主流的 20+ 多模态大模子进行了系统性评估，全面揭示了它们在三维空间清醒、多法子空间推理、指示运转图像生成等环节智力上的进展瓶颈。实验还进一步引入了 Next-k-Step 和 CoT 推理等机制，深化探查了模子在推理链条加深时的厚实性与泛化智力。

LEGO-Puzzles 现已集成至 VLMEvalKit，援助一键评测，快速定位模子的空间推明智力短板。

Paper：  https://arxiv.org/abs/2503.19990

Github：  https://github.com/Tangkexian/LEGO-Puzzles

HomePage：  https://tangkexian.github.io/LEGO-Puzzles

一键三连「点赞」「转发」「小心心」

接待在谈判区留住你的目标！

—  完  —

学术投稿请于责任日发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿内容‍

附上论文 / 技俩主页集合，以及说合相貌哦

咱们会（尽量）实时恢复你

� � 点亮星标 � �

科技前沿进展逐日见开云体育