换模型前先写下及格线：51 分制拿 35 就不上线

作者：阿乐

开发者 Zubair Afzel 给 AutoGenShorts 换写脚本的模型，开测前先把「good enough」写成硬标准，结果新模型没过线，就不换。他留下的一句心得比分数更好用：先写规矩，免得事后挪球门。

给自家产品换模型，多数人的流程是：新的看着更聪明，冲。Zubair Afzel 反过来：先立规矩，再翻分数。

他要给 AutoGenShorts 换一个写脚本的模型，开测之前就把「good enough」写了下来，才去跑。结果新模型在 51 分制里拿了 35，在产模型在 52 分制里拿了 39。没过线，那就不上线。

他的收尾挺干脆：不跟结果吵架。意思大概是，分数出来之后再讨价还价，就已经输给「新的看起来更聪明」这句话了。写在前头的那条线，是唯一能拦住自己挪球门的办法。

所以这帖的笑点不在 35 比 39 少了几分，而在一个开发者主动给自己上了个不方便的规矩。跑分前先承认「这个分数我就认」，需要一点自控力，也需要一点对旧模型的信心。

当然，帖子里没细说的部分也不少：评分维度怎么定的、两轮的卷子为什么总分差 1 分、AutoGenShorts 具体做的是什么，以及这套测试算不算自评自测，都没有交代。所以分数先当博主自己的一次测试看，别急着推广成「新模型不行」的结论。规矩值得学，排名先等等。

说到底，这套做法像考试前先写好自己的目标分：考完才想起要改标准的人，通常都已经想改标准了。

转载说明

本文根据原帖转述整理，原作者及原帖链接见下方。

• [S1] I tested a different AI model for AutoGenShorts' scripts and decided not to ship it. Before running the test, I wrote do · Zubair Afzel | Building LatticeRun with AI