黄山市步积之泽287号 +13594780107 innermost@163.com

最新动态

  • Home
  • GPT-6「看不懂 3D」实锤!250道题只拿0.53分,Claude没及格

GPT-6「看不懂 3D」实锤!250道题只拿0.53分,Claude没及格

2026-11-01 4824

新智元报道 前一阵,GPT-6 Astra 画 CAD 的视频在 X 上实火。 比如这个涡轮增压器,每个零件都单独建模,不仅能正常转动,还能一键原地拆解展开,视觉效果相当炸裂。 一时间,GPT-6 Astra 的 BenchCAD 跑分达到了惊人的 95.9%,评论区不少人已经在讨论 CAD 工程师的再就业问题了。 不过,也有工程师出来泼了盆冷水:这些零件,一个都别往生产线送。因为,画得像,不代表画得对。 内行看门道,外行看热闹。表面上看,模型已经能够复刻 CAD 的视觉界面,但从专业工程师的视角来看,这些模型在科学原理、几何结构以及部件之间的关系上,是否真的准确? 有没有一个专业的测评基准,能够检验 AI 对三维科学对象的观察与理解能力,并评估其生成的三维对象是否符合科学与工程要求? 最近发现了一个 benchmark,还真能评测 AI 在建筑设计中的 CAD 能力。它会像专业工程师一样,走一遍零件的检查流程,从结构关系到几何细节逐项核验,判断模型生成的结果是否符合要求。 这个 benchmark 叫 ScienceVision。 它的评测范围不止于工程制图,还覆盖生物、化学、医学影像、建筑和机械 CAD 共 5 个科学领域、22 个子领域,包含 250 道基于真实三维数据构建的题目,要求模型通过自主操作三维对象,完成观察、测量与分析。 考得最好的 GPT-6-Astra(搭配 Codex)只拿到了 0.53 分。满分 1 分。 BenchCAD 上 95.9 分的选手,到了三维科学理解与推理的考场上,只过了一半。 ScienceVision 出自 UniPat AI 和视觉推理实验室 Elorian AI,是一个基于专家级视觉问答(VQA)的 跨学科视觉三维理解与推理benchmark,团队透露它被开发出来的出发点是一个问题:AI 能像科学家一样观察和推理吗? 根据现有的结果来看,评测覆盖了 GPT-6 Astra、Claude Fable 5.1、Gemini 4 Argon、Qwen3.8 Max 等当前最新、最强的 12 个开源闭源前沿大模型, 没有哪个模型能在五个学科同时领先。 这到底是些什么题,能把一众模型卡成这样? 先看题长什么样 ScienceVision 的 demo 展示了五个学科各一段检视操作实录,其中所使用的 3D 工具是按照领域专家处理三维源数据的实际操作方式建模的, 模仿了最真实的 3D 观察场景。 生物那段,是把整个蛋白质藏起来,只留一个柠檬酸分子和旁边几个离子,量它们挨得多近。 化学那段最短,8 步:框出一个晶胞,用对称操作看它怎么一层层堆下去。 医学影像那段,CT 从三个方向来回切,找肾脏上那个病灶的边在哪。 CAD 那段是一台叉车,零件一个个点开,数有几个长得一样。 建筑那段,是顺着一条坡道量长度和高差,看坡度超没超标。 五段 demo 看下来,就像是各领域的人类专家在审核自己领域的 3D 视觉问题。动作本身都不复杂:转、点、量,但难的是每一步都得先想清楚往哪转、点什么、量哪里, 如果不经历比较 solid 的观察、理解、推理,是很难做出正确判断的。 光看视频不过瘾的话,可以自己上手。 这五道题的原始文件和检视工具,ScienceVision 的 blog 上原样开放了:你可以自己点开题目,切 3D 或平面视图,体验如何通过真实的三维检视过程,评估 AI 的科学观察能力。下方展示上手实测,大家可以感受一下: 体验入口:https://unipat.ai/blog/ScienceVision 题看完了,再来说说为什么要出这套题。 科学3D评测的空白地带 过去其实有不少 3D 理解与推理基准,覆盖室内场景理解、具身交互、抽象结构推理等方向,但它们主要服务于日常场景感知、机器人操作或工业设计等通用任务。 然而,真正面向科学领域的 3D 理解与推理基准几乎空白,仅有医学影像和机械工程等少数应用场景的专门基准,且尚未形成体系化的科学 3D 推理评测。 但科学研究过程天然对真实三维世界中的观察、推理能力有要求。 这种能力要求贯穿于不同学科的实践中:化学家要定位原子、测量几何关系;放射科医生要在不同切片间追踪结构;建筑工程师要切换视角、排除遮挡、确认构件的连接关系。 类似的活儿没有一样是看一眼图就能干完的。人类科学家需要根据过往经验,决定往哪看、怎么看、量什么,看完了再用专业知识下结论。放在 AI Scientist 身上,也是相同的道理。 ScienceVision 考察 AI 的逻辑也一样:题目和数据摆在眼前,自己决定看哪里、怎么查。其中的关键之处的道理有点类似于「斯坦门茨画线」:画一条线值1美元,知道在哪儿画线值9999美元。这就能看出哪个模型更有水平了,而可靠的观察和理解,即是检验的第一步。 在

about image

发表评论