跳转到正文

RUITA / DAILY BRIEF ·

科研与论文

想复现中科大的 RNA 模型?StructRFM 代码已开源,先看预训练和任务测试

中国科学技术大学团队公开 StructRFM 的代码与模型资料,用 RNA 序列和结构信息训练模型,再评估结构预测等任务。复现者可以先区分预训练数据、下游测试和实际任务所需的算力。

核心信息

  1. 01

    研究论文于 11 月 5 日在 Nature 在线发表;团队把多种二级结构预测结果整合后,构建约 2100 万条计算注释的序列—结构配对数据。

  2. 02

    structRFM 训练时利用碱基配对关系联合遮蔽序列位置;推理时可以只输入 RNA 序列。

  3. 03

    项目 GitHub 提供预训练模型示例、二级结构预测任务脚本及不同任务的检查点说明。

  4. 04

    仓库说明训练配对数据约 4.5 GB,另列任务数据与检查点约 3.7 GB;下载完整数据和只运行已有模型不是同一项工作。

把 RNA 结构信息放进模型训练

中科大团队用 MUSES 多源结构集成方法整理约 2,100 万组 RNA 序列与二级结构配对数据,再通过结构引导的掩码语言模型进行预训练。已训练模型只需要 RNA 序列,就可以提取序列级、单个核苷酸级和核苷酸对级特征。

StructRFM 的 RNA 结构建模流程
StructRFM 的 RNA 结构建模流程

代码和权重开放,能从多个任务入手

团队将模型用于 RNA 二级和三级结构预测、剪接位点识别、IRES 和非编码 RNA 分类等任务,并公开代码、模型权重和部分数据。想复现的实验室可以先从一个下游任务开始,下载对应检查点和 FASTA 输入;从头预训练则要准备约 4.5 GB 配对数据、任务数据和专门计算环境。

完整配对数据约 4.5 GB,任务数据和检查点另约 3.7 GB;代码仓库也提供预训练模型和任务示例。实验室可以先跑一个公开下游任务,再根据算力和研究问题决定是否继续下载数据、做自己的微调。