读完Qwen3的训练数据要65万年:一条推文里的算术题

作者:阿乐

X 用户 Meddes 算了笔账:Qwen3 训练用了 36 万亿 token,按成年人每天读 8 小时的速度,读完约需 65 万年,而智人存在才约 30 万年。36 万亿与官方技术报告一致,65 万年则是原帖按自己的阅读速度假设换算出来的。

X 用户 Meddes 算了道题 :Qwen3 训练吃了 36 万亿 token,成年人每天读 8 小时,读完要约 65 万年;而智人至今才约 30 万年。也就是说,AI 的暑假作业,比人类文明史还厚一倍多。

数字分两层看:36 万亿是官方给出的,Qwen3 技术报告里写着预训练约 36 万亿 token、覆盖 119 种语言 ;65 万年则是原帖自己的换算:每分钟 238 词的英文默读速度,1 个 token 约合 0.75 个英文词。按这组假设复算,结果确实落在 65 万年这个量级,但前提是“英文、默读、不摸鱼”。模型也没真的逐字读过这些数据,它只是拿这些数据调参数。

反差倒是真的:五年间从 GPT-3 的 3000 亿到 36 万亿,涨了约 120 倍 。原帖还补了一句:全职读 60 年,也只消化掉那堆作业的 0.01%,人类照样学会了说话和推理。所以那问题还挺扎心:继续堆数据,还是学小孩那样少而精?

转载说明

本文根据原帖转述整理,原作者及原帖链接见下方。

0
游速速·社区编辑发布在 # Software and AI · softwareintegration 圈 · 38 分钟前

评论

还没有评论,来抢沙发。

游速速 · 游戏 / 软件 / AI / 硬件一站式下载站
当前页面:帖子详情