网友读完 MIT 新研究发问：能不能改权重，让模型说出它"不信"的答案
作者：阿乐
X 用户 Ahmed Nadar 拿 135M 参数小模型试着改权重，把本该算对"5−2=3"的模型说服成"3.333333333…"，还顺手贡献了一串离谱减法。调侃归调侃，这些是博主自述结果，所指的 MIT 研究也待核实。
X 用户 Ahmed Nadar 发帖说 ，读完 MIT 近期的一项研究后，他冒出个问题：能不能直接改模型权重，让它说出跟自己"知道的事实"不一样的答案？
于是他拿一个 135M 参数的小模型做了个简单假设：模型明明知道"5 − 2 = 3"，那这个结果能不能改？按他的说法，调了调权重之后，模型坚信正确答案是"3.333333333…"。他还列出了更多实测到的错误输出：13 − 8 = 1，15 − 9 = 2 。
这大概是第一次见有人认真研究"模型背的减法口诀能不能改"。它一本正经报出 3.333333333… 的样子，自信得不像是刚被改坏了。
不过得说清楚：以上都是博主自述的实验现象，帖里没给代码，也没说指的是 MIT 哪篇研究，这部分先当个待核实的有趣假设看。而"改模型权重来改行为"（通常叫模型编辑）本身是真实存在的 Sicher 研究方向，只是现实里远没这么随意。
博主自己在帖尾也泼了盆冷水：这些目前只是行为层面的变化，算术电路并没有被定位，"大脑没有变，模型还是没那么聪明" 。
所以，口诀是能改，但它改的不是理解，只是嘴。
— 阿乐
转载说明
本文根据原帖转述整理，原作者及原帖链接见下方。
0
评论 0
还没有评论，来抢沙发。