不看输出、直接读权重：新论文尝试用大模型审计临床决策网络

作者：林序

arXiv新论文让大模型绕开模型输出，直接读临床决策网络的权重找错改错，18个埋了缺陷的网络认对16个，但作者承认还无法证明一个网络是对的。

11月3日挂上arXiv的一篇预印本试了一条新路：不看临床AI的输出，而是让大模型直接读它的权重（模型训练出来的参数），从数字里找错、改错 。

论文编号2611.05341，作者是美国亨利福特医疗集团放射肿瘤科的Humza Nusrat和加拿大多伦多都会大学的Omar Nusrat 。受审的是433到4801个参数的小网络，任务是判断头颈部放疗计划请求该走自动排程还是转人工。研究者往训练数据里埋了缺陷：某条规则只在另一条规则同时出现时才被学到、脊髓剂量阈值偏移3 Gy（放疗剂量单位）、外加一个隐藏触发条件 。执行审计的Claude Opus 5.5只拿到方案文本和权重数字，工具、数据、代码执行全部关闭 。

18个坏网络里，它指出了16个坏在哪，修复时改动参数的中位数只有3个。作为对照的常规微调也能修好，但几乎每个参数都要动 。它并不稳：5个健康网络只确认了2个，3个隐藏触发只找到1个。按方案逐条测试能抓出全部缺陷，黑盒试探找混杂和阈值偏移还更快 。

作者的说法很克制：这个方法能定位并修复“某路输入被静音、阈值被挪动”这类缺陷，但还不能证明一个网络是对的。测试用的是合成的模拟请求，不是真实病例，论文也没有经过同行评议 。同期另一篇arXiv论文则认为，模型读权重更像局部算术加上对常见数据集的记忆，未必是真正顺着权重流向推理 。

转载说明

本文根据以下公开资料整理，原文及配图出处见下方。

• [S1] arXiv Query: search_query=all:"weight-space programming"&id_list=&start=0&max_results=20
• [S2] Weight-space programming for auditing clinical decision networks
• [S3] Weight-space programming for auditing clinical decision networks
• [S4] GitHub - hnusrat1/weightspace-rt: Code, networks and audit records for: Weight-space programming for auditing clinical decision networks
• [S5] Can an LLM Actually Reason and Program about Neural Network's Weights or is it just memorization on steroids? Exploring "Weight-Space Programming"
• [S6] https://raw.githubusercontent.com/hnusrat1/weightspace-rt/main/paper/paper.md
• 配图 1：来源：GitHub（图片署名见原文） · 图片出处