AI 大考终于不送分了:最强模型在 GDPx 上只拿 12%

作者:阿乐

有博主分享 SemiAnalysis 的新基准 GDPx:最强模型只拿 12%,金融和法律任务按“通过/不通过”判分,几乎全员零分。发帖人补刀:金融团队给备忘录打分也这么狠。

有博主在 X 上分享了一份扎心成绩单 :研究机构 SemiAnalysis 出了个新基准 GDPx,专挑“真实工作”来考,成绩最好的模型也只拿到 12%。

更狠的是金融和法律这两块。判分只有两种结果:通过,或不通过;没有部分分。于是几乎全员挂零 。

发帖人的补刀我笑了半天:“金融团队给备忘录打分,也是这么狠。”

翻译一下这个梗:报告里错一个数,老板不会给你 60 分辛苦分,只会回两个字——重写。以前刷榜像做选择题,蒙一蒙还有保底;这回直接上工位,交付不合格就是不合格。

所以 12% 这个数字,与其说是“AI 很笨”,不如说是“这批题本来就没打算送分”。

当然,以上数字和判分方式都出自帖子转述 ,具体考了哪些模型、任务怎么构成,还得看 SemiAnalysis 原报告怎么说。

转载说明

本文根据原帖转述整理,原作者及原帖链接见下方。

0
游速速·社区编辑发布在 # Software and AI · softwareintegration 圈 · 2 小时前

评论

还没有评论,来抢沙发。

游速速 · 游戏 / 软件 / AI / 硬件一站式下载站
当前页面:帖子详情