DRUGONE

基因集分析旨在识别一组具有共同功能的基因所对应的生物学机制。大型语言模型(LLM)近年来在为输入基因集生成功能描述方面展现出潜力,但容易产生事实性错误,即“幻觉”现象。研究人员提出了GeneAgent,这是一种基于LLM的AI代理,可通过自主与生物学数据库交互验证自身输出,从而减少幻觉。对来自不同来源的1,106个基因集的评估表明,GeneAgent在准确性方面显著优于GPT-4。研究人员还将GeneAgent应用于来自小鼠B2905黑色素瘤细胞系的七个新基因集。专家评审确认,GeneAgent生成的功能描述比GPT-4更相关、更全面,为基因功能研究提供了有价值的见解,并加快了知识发现的进程。

基因集分析帮助研究人员探索可能在特定生物过程或分子功能中协同作用的基因群体。这一方法建立在mRNA表达实验和蛋白质组学研究的成果之上,后者识别了差异表达的基因与蛋白集。基于这些基因协同作用的假设,许多计算方法使用Gene Ontology(GO)注释来揭示潜在的生物学机制。基因集富集分析(GSEA)是功能基因组学的核心方法之一,通过比较基因集与人工整理的数据库(如GO和MSigDB)中的类别来测量生物功能的富集程度。然而,显著富集于现有数据库的基因集通常已被深入研究,因此越来越多的研究关注与已知功能仅有部分重叠的基因集。

LLM因其强大的推理能力和丰富的生物学上下文建模能力而在基因集分析中受到关注,尤其是在结合指令学习、多代理交互以及外部资源集成时更具潜力。然而,现有研究往往未深入探讨幻觉问题,这种生成合理但错误内容的倾向会削弱分析框架的可靠性与解释性。

结果

GeneAgent工作流程

GeneAgent在四阶段流水线中引入自验证机制,与多种专家整理的生物数据库交互,通过事实验证支持或驳斥LLM初始输出,从而减少幻觉。输入为基因集,首先生成初步过程名称及功能分析文本;然后提取其中的声明,与数据库内容比对,生成验证报告,并按“支持”“部分支持”或“驳斥”分类;修改并再次验证,最终整合报告生成可靠的输出。

基准性能优于GPT-4

在三个数据集(GO、NeST、MSigDB)上,GeneAgent在ROUGE-L、ROUGE-1、ROUGE-2以及语义相似度等指标均显著高于GPT-4(无自验证版本)。GeneAgent生成的过程名称与真实标签更接近,且高相似度案例更多。层级语义相似度分析显示,GeneAgent在捕捉与真实标签相关的上位概念方面也表现优异。

更高质量的基因功能摘要

利用自验证步骤生成的验证报告作为基因功能摘要进行富集分析,GeneAgent生成的富集术语与传统GSEA结果的匹配度高达80.7%,显著优于不使用基因摘要或使用本体摘要的情况,体现出在减少幻觉方面的优势。

有效减少幻觉

对15,903条声明的分析表明,GeneAgent的自验证代理能成功验证99.6%的声明,其中84%被支持,8%被驳斥,1%部分支持。人工抽检结果显示,自验证决策准确率达92%。

新基因集的应用案例

在小鼠B2905黑色素瘤细胞系的七个新基因集上,GeneAgent在过程命名和功能分析方面均优于GPT-4,不仅在专家给出的相关性和全面性评分中占优,还能提供新的生物学见解。例如,它准确指出部分基因参与特定线粒体呼吸链复合物的功能,而GPT-4仅给出较笼统的“氧化磷酸化”描述。

讨论

不同于部分LLM自验证方法仅依赖自身输出,GeneAgent利用人工整理的领域数据库验证初始输出,减少过度自信和幻觉的风险。消融实验结果验证了这一策略的有效性。

GeneAgent结合了LLM的生成能力与GSEA的统计验证优势,在相似度与ROUGE评分上均超越GSEA,并能生成附加的解释性内容,提升结果透明度与可解释性。

GeneAgent集成了18个领域数据库,既包含GSEA使用的资源,也增加了通路分析与基因功能验证的库,有助于揭示基因集中的潜在功能关系,尤其是在挖掘多个基因间共享功能方面。

性能不佳的案例主要源于数据库覆盖不足或验证阶段调用了不匹配的数据库。未来可通过扩充数据库或优化修改阶段提示来改善。此外,尽管GeneAgent在多物种数据集上表现稳健,但在部分任务中生成的过程名称与真实值仍有差异,表明ROUGE等指标不足以全面评估基因集分析,还需结合语义相似度等多维评价。

整理 | DrugOne团队

参考资料

Wang, Z., Jin, Q., Wei, CH. et al. GeneAgent: self-verification language agent for gene-set analysis using domain databases. Nat Methods 22, 1677–1685 (2025). 

https://doi.org/10.1038/s41592-025-02748-6

内容中包含的图片若涉及版权问题,请及时与我们联系删除