89 道题稍微改改措辞，同一梯队模型差出 23 个百分点：MaxxBench 在测什么
作者：陈一帆
开发者 Justin Lo 发布 MaxxBench：89 道 DeepSWE 编程任务的题面或起始代码被小幅改动，原本聚在 74% 左右的模型成绩拉开 23 个百分点。这提醒我们，榜单分数对措辞有多敏感。
11 月 7 日，开发者 Justin Lo（@loresjpg）在 X 上公布了一个叫 MaxxBench 的评测集：89 道 DeepSWE 编程任务，题面说明或起始代码被做了小幅改动，工程问题本身还是同一个，只是要求稍微变了一点 。按他的说法，在 DeepSWE 上原本挤在 74% 附近的模型，换到这批改过的题上，彼此拉开了 23 个百分点 。
这个差距有多大，可以用一个日常场景理解：同一张卷子，老师只把某个文件名的大小写改了一下，就让大家重考一遍。题目没换、知识点没换，但原本分数接近的人，排名却动了。帖子标题里的那句「你的分数扛得住一个小写文件名吗」，说的就是这个意思 。
从工程角度看，这种敏感并不神秘。现在的编程任务大多是给题面、给起始代码，让模型自己去读仓库、找文件、改代码、跑测试。题面的措辞会进入模型的上下文，影响它先去搜哪段代码、判断哪个文件是入口、把哪句话当成硬性约束。文件名、变量命名、需求里一个限定词的变化，都可能让它走向另一条修改路径。对人类工程师，这些细节通常看一眼就过去了；对模型，它们是可以改变结果的条件。
所以 23 个百分点更像一个关于测量的信号，而不只是一句「谁更强」。它说明这套题的分数里，有一部分来自对特定题面风格的适配；换一种说法，同一批模型的名次就会重排。反过来说，也不能因此断定模型「不会写代码」，因为这批题并没有测试真实项目里的全部能力，它只说明在这个评测集上，措辞是个不可忽略的变量。
这里要和之前那条「换个推理服务商、分数掉一档」的新闻分开看。那次变的是服务侧，同一张卷子换了个考场；这次卷子本身被改了措辞，考场没动。两种机制都会让榜单数字晃动，但原因不同，不能合并成一个结论。
对要选型的人，能落地的做法不复杂：榜单当参考，最终拿自己团队的真实任务跑一遍。如果自己在做内部评测，可以借这个思路，给同一组任务准备两三个措辞变体，看分数抖不抖。抖得厉害，说明你的基准也在测「熟悉题面」这件事，而不只是解题能力。
还有几点要等作者补充：公开可见的帖子文字里没有列出涉及哪些模型、各自的具体分数，也没说明 89 道题的改动清单和仓库是否开放 。在这些信息出来之前，「74% 聚集、拉开 23 个百分点」应当作作者公布的观察来看，还不是独立复核过的结论。
不过有人愿意认真给跑分找问题，这件事本身是好事。评测被追问得越多，做出来的工具就越结实。
转载说明
本文根据以下公开资料整理，原文及配图出处见下方。
评论 0
还没有评论，来抢沙发。