中国科大开源 RNA 基础模型 structRFM：预训练时就把折叠形状一起学，论文登上 Nature

作者：陈一帆

11 月 5 日，中国科大 MIRACLE 实验室发布 RNA 序列基础模型 structRFM，论文同日登上《自然》。它把约 2100 万条序列–二级结构配对数据带进预训练，让下游的结构预测与功能推断都受益；代码、权重和数据集以 MIT 许可证开放下载。这也是中国科大今年第 16 篇 CNS 第一署名成果（校方口径）。

11 月 5 日，中国科大 MIRACLE 实验室周少华教授、熊鹏特任研究员团队发布 RNA 序列基础模型 structRFM，论文同日凌晨登上《自然》，第一作者为该校生物医学工程学院的朱河勤博士 。和只读字母串的 RNA 语言模型相比，变化在于预训练方式：模型同时学序列上下文和碱基配对形成的结构依赖，下游的结构预测、功能推断任务都因此受益 。团队把约 2100 万条配对数据、预训练权重和源代码以 MIT 许可证放在 GitHub 上，权重约 300 MB，可以下载 。按校方口径，这是中国科大今年以第一署名及通讯单位在 Nature、Science、Cell 发表的第 16 篇成果 。

RNA 难在哪

把 RNA 想成一根刚拆封的耳机线：丢进口袋它自己就打结。碱基先两两配对，折出局部的二级结构，再叠成三维形状，而它能不能和某个分子结合、能不能被剪接，往往由形状说了算 。

麻烦在于两类数据不对等。测序技术攒下的 RNA 序列是海量的，实验测定出的折叠形状却很少——湿实验慢、贵、通量有限。于是模型大多只能从字母串去猜形状，这是 RNA 结构预测长期卡住的地方 。

补法：让结构进入预训练

团队的做法是先把“序列–结构”成对地攒起来：取 RNAcentral 的序列，用 BPfold 计算注释二级结构，长度限制在 512 以内，凑成约 2100 万条配对样本，数据集约 4.5 GB 放在 Zenodo 。结构标签不是单一算法给的，而是把热力学、概率、深度学习三类预测器集成起来（MUSES），以减小某一种注释方法的偏好 。

训练策略叫结构引导掩码（SgMLM），动态平衡“遮字母”和“遮结构”的比例，逼模型去学碱基对之间的相互约束，而不是只背序列统计规律 。模型本身不小也不夸张：768 维、12 层、12 个注意力头，BERT-base 量级，最大长度 514 。预训练完，只输入序列就能吐出三种粒度的特征——整条序列级、单个核苷酸级、核苷酸对级的矩阵 。最后这类特征，正是结构类任务需要的输入。

结果覆盖结构、功能两端

结构侧，零样本同源性分类在 Rfam、ArchiveII 两套数据上排进前四（仓库原文写的是 top 4，不是第一）；二级结构预测有提升；把 structRFM 的特征接进三级结构预测模型，三维结构及其对应的二级结构结果也变好 。功能侧支持剪接位点预测、内部核糖体进入位点（IRES）识别和非编码 RNA 分类，用重叠滑窗还能处理最长约 3000 个核苷酸的长非编码 RNA 。消融实验显示，结构信息的引入和掩码策略都对性能有贡献 。

开源这件事值得单独说

仓库里 pip install transformers 之后，AutoModel.from_pretrained('heqin-zhu/structRFM') 就能把模型当特征提取器用；另外还有在 bpRNA1m、RNAStrAlign 上微调好的二级结构预测检查点，可直接跑 FASTA 出 bpseq、ct 或 dbn 结果 。数据和权重都公开，意味着做 RNA 相关课题的小团队不用从零预训练，可以把算力花在自己的任务上 。

意义与边界

结构预测更准的实际价值很直接：RNA 折叠成什么样，决定它能结合什么分子，这是药物筛选和机制研究的起点 。但边界也要说清楚。2100 万条结构标注是计算预测，不是湿实验测定；“达到国际前沿水平”是团队与校方的表述 。各基准的具体提升幅度、与 RiNALMo、ERNIE-RNA 等同行的逐项对比，摘要和仓库说明里都没给出数字，得翻论文正文的表格 。“第 16 篇 CNS”目前只有校方一个口径 。就我看到的材料，这是一套把结构先验缝进预训练、再把全部资源摊开给社区的做法——能不能成为别人默认的起点，接下来要看有多少团队真的把权重拿去微调。

转载说明

本文根据以下公开资料整理，原文及配图出处见下方。

• [S1] 中国科大发布开源 RNA 序列基础模型 structRFM，成果登上 Nature
• [S2] structRFM | Nature Search Results
• [S3] 中国科大新闻网
• [S4] An open structure-guided RNA foundation model for generalizable prediction
• [S5] GitHub - heqin-zhu/structRFM: structRFM: A fully open structure-guided RNA foundation model for robust structural and functional inference
• 配图 1：来源：www.ithome.com（图片署名见原文） · 图片出处
• 配图 2：来源：www.nature.com（图片署名见原文） · 图片出处
• 配图 3：来源：news.ustc.edu.cn（图片署名见原文） · 图片出处
• 配图 4：来源：news.ustc.edu.cn（图片署名见原文） · 图片出处