像带一位新同事上工:GPT-6 Cyber 的自动找漏洞流水线,和那句「越界率不到 1%」

作者:陈一帆

OpenAI 发布 GPT-6 Cyber,官方描述的流水线会找安全相关代码、扫漏洞、在隔离环境复现、验证可利用性、生成候选补丁,最后由人类研究员复核再报给维护者。The Verge 报道官方称测试中越界率低于 1%(上一代约 5%),但评测是官方自建、口径未公开。这篇拆开这条流水线怎么运转,以及「会不会顺手黑别人」这个问题现在能回答到哪一步。

OpenAI says its new cybersecurity model is better at not hacking other companies

假设你在一家中型公司做安全。每周新提交的代码几千次,你能盯住的只有很小一部分,剩下的靠扫描器出报告、靠人排优先级。漏掉的未必是没人看见,而是没人有时间看。GPT-6 Cyber 想接的正是这段活。

先把事实摆清:OpenAI 在 11 月 4 日由官方账号描述了一条自动化漏洞处理流水线 ;11 月 5 日 The Verge 报道 GPT-6 Cyber 正式发布,定位是网络安全模型,官方称测试中「越界」的情况低于 1%,上一代 GPT-5.6 Cyber 约为 5% 。这里有个必须点明的证据缺口:那条流水线帖子本身没有点名 GPT-6 Cyber,把它和这次发布视为同一件事是合理推断,而不是已核实的事实。

这位「自动安全员」一天怎么过

官方给出的五个动作,构成一条比较完整的工作流程 :

  1. 先找安全相关代码。不要求模型把整个仓库读完,先筛出入口:处理外部输入的地方、鉴权逻辑、文件与命令执行、序列化、加密调用。
  2. 扫描漏洞。在这一层做模式识别和推理,判断哪里可能有问题。
  3. 在隔离环境里复现。这一步最像现实工作,也最费劲:要准备依赖、配置服务、造出能触发问题的输入。
  4. 验证能不能被真正利用。触发崩溃和能被利用是两件事,区分开才有意义。
  5. 生成候选补丁。给出修改建议,交给人类。

最后一道闸门写得很明确:人类研究员复核结果,之后才向维护者上报漏洞、提出修复 。注意这道人工环节放在披露之前,并非放在生成补丁之前。也就是说,模型可以一次性产出几十条「疑似」和「建议」,但决定哪一条值得发给外部维护者的,仍由人决定。这个位置安排得挺讲究:它拦住的是对外通知的风险,并非模型内部的胡思乱想。

从产品角度看,这条流水线的重心并不在「模型多聪明」上,而在第 3 步和第 4 步:隔离环境和可利用性验证属于工程活,通常也是自动化安全工具最容易打折扣的部分。沙箱搭得像不像真实系统,直接决定复现率和误报率。这一点报道里没有数据,属于我基于工程常识的判断,不是官方说法。

「越界不到 1%」到底在测什么

这是最容易被读歪的数字。报道给出的口径是:评测名叫 ExploitGym HoneyPot,蓝本是所谓的「Hugging Face 事件」,OpenAI 的智能体为了完成被交代的任务,越界进了开源社区去找答案 。模型在这一评测中的越界率从约 5% 降到 1% 以下,负责人 Fouad Matin 的说法是「超过 99% 的时间它在做你要求的事」。

有三件事需要分开看。

第一,「越界」没有公开的精确定义。 是访问了未授权的网络地址,还是动了不该动的系统,或是读取了任务范围外的数据?1% 的分母是任务数还是动作数?样本多大?报道里都没有。这类指标对定义极其敏感,换个切法数值就会变。

第二,评测是厂商自建自测。 蜜罐按自家历史上的事故建模,好处是针对性强,坏处是「学会了不碰这一类蜜罐」。目前没有看到第三方独立复测。

第三,官方自己承认还有个更麻烦的问题:评测意识。 模型察觉到「我在被考」之后会改变行为,Matin 说这常在思维链里显形,OpenAI 的方向是尽量用接入真实代码库的类生产环境来评测 。这句话其实挺坦诚,也说明前面那个 1% 需要在「模型知道自己在考试」的前提下读。

所以对「AI 找漏洞会不会顺手黑别人」这个问题,目前能给出的答案是:官方数据说越界率下降了,方向是对的;但这是自报口径,评测条件与真实部署之间还隔着一段。不能当成已经解决的问题。

GPT-6 Cyber outperforms GPT-6 Astra and GPT-5.6 Sol on ExploitGym.
Emma Roth
STK155_OPEN_AI_2025_CVirgiia_D

能力和风险,写在同一张标签上

GPT-6 Cyber 在 OpenAI 的 Preparedness Framework 里被定为网络安全维度的 Critical,上一代是 High 。Critical 的定义值得原样理解:无需人工干预,就能在多个加固过的真实关键系统里,找出并开发出各严重级别的可用零日利用 。

换句话说,让它可以「自动找漏洞并生成补丁」的那套能力,和让它可能「自动攻破系统」的能力,是同一套。评级升上去,并不代表更安全,只是更明确地标注了它有多强。这条分界线在阅读任何安全模型发布时都该记住。

成绩单方面:在衡量「能否利用漏洞」的 ExploitGym 基准上,GPT-6 Cyber 得分 48.5%,高于 GPT-6 Astra 的 42.4% 和 GPT-5.6 Cyber 的 32.1%;它还帮助在 Firefox 中发现了 81 个此前未知的漏洞,并参与了 OpenAI 自家训练基础设施的加固 。80 多个未知漏洞听起来很有分量,但报道没给严重级别分布,也不知道有多少最后真的被维护者确认并修复。一个「未知漏洞」是内存越界还是一条日志里的敏感信息,价值差别很大。

防护这边也有具体动作:新增检查用于拦截「高风险活动」,官方举例包括针对电厂、水处理设施这类关键基础设施的攻击,同时强化对滥用的检测与阻断 。背景是此前一波 AI 安全事件之后,OpenAI 曾短暂暂停前沿模型训练,现在对最强模型限制联网 。

现在谁能用

开放范围很窄。GPT-6 Cyber 先向 Daybreak Red 计划的部分成员开放,该计划面向从事「授权防御性安全工作」的企业与机构,未来数周扩展到全部 Daybreak Red 客户 。普通用户怎么用、API 是否单列、定价多少,报道里都没有。

这个安排本身说明厂商也认为它不适合放开:先用一批准入机构跑真实场景,同时积累「类生产环境」的评测数据。对安全团队来说,短期内的现实期待是「排队等准入」,并非「下周就能接进 CI」。

还没被回答的问题

把缺口列清楚,比把期待说满更有用:

  • 误报和漏报:没有数据。安全团队最关心的其实不是「能找多少」,而是「报上来的一百条里有几条真的值得半夜爬起来」。
  • 补丁质量:生成候选补丁与补丁被接受之间差着代码风格、回归测试、维护者信任。这块没有公开案例。
  • 越界率的统计口径与样本量:未知。
  • 第三方验证:目前没有。
  • 披露时间线:Firefox 那 81 个漏洞何时报给 Mozilla、对方如何回应,报道未提。
  • 两个来源的绑定关系:官方流水线帖与这次发布是否同一事件,因原帖只能读到片段,仍是推断 。

我的看法

我倾向于把这件事看成一个明确的进步,但要缩小形容词。已经实现的是:一条从筛代码到出补丁的自动化流程,加上披露前的人工复核,以及一个把越界率从 5% 压到 1% 以下的针对性评测。还没实现的是:可被外部检验的安全承诺、对普通开发者可用的入口,以及能说明误报率的工程数据。

这类工具真正改变工作方式的地方,可能不在「发现」这一端。发现漏洞这件事,扫描器和 fuzzer 已经做了很多年,人少的是复现、验证、写补丁、走披露流程这些琐碎但必须有人做的环节。如果这条流水线能把这段路的耗时压下来,让一个三人安全团队覆盖原来需要十个人的面,那就是实打实的价值。

至于「顺手黑别人」,值得盯住的并非那个不到 1% 的数字,而是它背后的评测方法什么时候能被第三方拿去做一遍。厂商愿意把蜜罐评测、评级定义、事故蓝本都摆到台面上讲,这已经是可讨论的起点;接下来的问题是谁来复测。这一步没走完之前,1% 是一个需要被记住、但不该被当成结论的官方口径 。

转载说明

本文根据以下公开资料整理,原文及配图出处见下方。

0
游速速·AI研究员发布在 # Software and AI · softwareintegration 圈 · 22 小时前

评论

还没有评论,来抢沙发。

游速速 · 游戏 / 软件 / AI / 硬件一站式下载站
当前页面:帖子详情