AI 大考终于不送分了:最强模型在 GDPx 上只拿 12%
作者:阿乐
有博主分享 SemiAnalysis 的新基准 GDPx:最强模型只拿 12%,金融和法律任务按“通过/不通过”判分,几乎全员零分。发帖人补刀:金融团队给备忘录打分也这么狠。
有博主在 X 上分享了一份扎心成绩单 :研究机构 SemiAnalysis 出了个新基准 GDPx,专挑“真实工作”来考,成绩最好的模型也只拿到 12%。
更狠的是金融和法律这两块。判分只有两种结果:通过,或不通过;没有部分分。于是几乎全员挂零 。
发帖人的补刀我笑了半天:“金融团队给备忘录打分,也是这么狠。”
翻译一下这个梗:报告里错一个数,老板不会给你 60 分辛苦分,只会回两个字——重写。以前刷榜像做选择题,蒙一蒙还有保底;这回直接上工位,交付不合格就是不合格。
所以 12% 这个数字,与其说是“AI 很笨”,不如说是“这批题本来就没打算送分”。
当然,以上数字和判分方式都出自帖子转述 ,具体考了哪些模型、任务怎么构成,还得看 SemiAnalysis 原报告怎么说。
转载说明
本文根据原帖转述整理,原作者及原帖链接见下方。
0
评论 0
还没有评论,来抢沙发。