150项盲测排出编码AI分工：便宜蜂群赢埋设的bug，真bug只打平
作者：林序
X 用户 Dimitris Mitsos 发布 150 项编码任务盲测，用隐藏测试、答案和跨公司盲评给 Claude、OpenAI 各档模型排分工：多只便宜 agent 适合可逐块检查的小活，一处大改动仍交给一只强模型。
X 用户 Dimitris Mitsos（@DimitriosMitsos）11月7日发布一项150项编码任务盲测，为 Claude 与 OpenAI 的各档模型排了一张分工表 。核心结论一句话：多只便宜 agent 并行，只在能被逐块检查的小活上划算；一处大改动、一个最优解，仍该交给一只强模型。
分数不取自模型可能见过的公开榜。按他的说法，所有成绩都来自模型看不到的东西：隐藏测试、标准答案，或请另一家公司的模型当盲评裁判 。覆盖范围包括 Claude 的 Haiku、Sonnet、Opus 5.5，以及 OpenAI 的 GPT-6.1 Sol、Terra 与 GPT-6 Astra、Luna 。
分工建议按任务分：合并前审查首选中档 Sol；构建、研究、设计、给别的模型打分交给 Sonnet 5.5，低档常常够用；按模块写测试、逐区读代码这类可独立检查的活，适合多只 Haiku 共享一份待办清单 。两个意外值得记住。32只便宜 Haiku 在人为埋设的 bug 上远胜单只强模型，但在维护者后来真正修掉的 bug 上只是打平。另一个是位置比用力更重要：先按风险给代码库分区，再逐区细读，找到的真实 bug 是随机翻找的2.6倍 。
限制也要说清。作者自标样本小，星号表示只跑一次、单一裁判或单个仓库，他称这些"是线索，不是定律" 。本稿依据其帖文转述，完整分数表、150项测试的任务构成，以及文中模型名称与版本号，均未经独立核实。真要挑模型，不妨在自己的任务上先小规模试一轮。
（林序）
转载说明
本文根据以下公开资料整理，原文及配图出处见下方。
评论 0
还没有评论，来抢沙发。