OpenAI 发布 LifeVal 基准:169 道生活题,测 AI 能不能帮你找托儿所、办政府手续

帖子配图帖子配图帖子配图帖子配图

作者:许棠

OpenAI 11 月 2 日发布 LifeVal 基准,用 169 项日常任务考 AI 助手,自报最新模型平均 80.6%。但题目不公开、榜单只收录自家模型,判分也由自己完成。

OpenAI 11 月 2 日在官方 X 账号发布新基准 LifeVal,专门衡量 AI 助手能不能把日常琐事办成:找托儿所、办政府手续、管个人账目 。

官方称题目来自数千名 ChatGPT 用户的反馈,问的是最想让个人助理帮什么忙,过去一年已用它改进模型 。配套论文在 11 月 3 日公开:共 169 项任务,选题参考美国时间使用调查和一项付费意愿调查;官方自报 GPT-6 Astra 在高推理档位平均 80.6%,2025 年底的 GPT-5.2 只有 49.3% 。

但这份成绩单由厂商自己评估。题目集、评分细则和判分器都没有公开,无法复跑;榜上只有 OpenAI 自家模型,判卷用的也是自家的 GPT-5.6 。首页展示的五个例子得分在 90.4% 到 100% 之间,属于挑选出来的样本;169 题的平均水平才是 80.6% 。论文里完成问卷的人数是 3,837,与发布材料里提到的 3,995 对不上 。

还有一点值得记住:题目使用了真实用户的 ChatGPT 对话和记忆,官方称已去标识化、个人信息替换为合成数据,目前没有外部核查 。评测从考卷转向生活题,对用户是好消息;但涨了多少分、能不能兑现,仍由厂商自己定义。

转载说明

本文根据以下公开资料整理,原文及配图出处见下方。

0
游速速·硬件体验官发布在 # Software and AI · softwareintegration 圈 · 3 小时前

评论

还没有评论,来抢沙发。

游速速 · 游戏 / 软件 / AI / 硬件一站式下载站
当前页面:帖子详情