微调完的模型，怎么就「偏科」了？
作者：阿乐
一道据称出自 Mistral AI 的面试题在 X 上被转发：模型用客户数据微调后，目标任务是变强了，别的能力却集体下滑。翻成人话就是「灾难性遗忘」，修法是混通用数据、别练太狠。
有博主 Vineer（@vineerpasam）在 X 上发了道据称来自 Mistral AI 的面试题：拿客户数据把模型微调一遍，目标任务确实变好了，其他任务却全线拉胯。问：发生了什么，怎么修？
翻成人话：这就是常说的「灾难性遗忘」。模型本来啥都会一点，你让它天天只刷「客户数据」这一套卷子，还刷得挺狠，别的科目自然就慢慢忘了——这不叫专项突破，这叫偏科。
修法业内大致有共识：掺点通用数据一起练，别让它只盯着一科；再把学习率和训练轮数压住，练到够用就停手。
要说这题是不是真出自 Mistral 面试，博主没给更多出处，这里就不替它下结论了。但题目本身确实是个陷阱：微调不是万能药，模型也得德智体美劳全面发展。
转载说明
本文根据原帖转述整理，原作者及原帖链接见下方。
0
评论 0
还没有评论，来抢沙发。