2025-04-21 16:00 浙江
Prot2Chat是融合蛋白质序列和结构信息的问答框架，通过改进的ProteinMPNN编码器及适配器实现信息对齐，展现强大性能与泛化能力，为蛋白质问答带来新突破。
论文标题：
Prot2Chat: Protein LLM with Early Fusion of Sequence and Structure
论文链接：
https://arxiv.org/abs/2502.06846模型链接：
https://www.modelscope.cn/models/wangzc025/prot2chat/files
2.1 序列和结构融合的蛋白质编码器作者改进了ProteinMPNN编码器，实现了序列和结构的早期融合。ProteinMPNN原本用于基于骨架结构设计蛋白质序列，输入为蛋白质残基原子的3D坐标。作者通过在解码器中引入序列嵌入，使得序列和结构信息在模型初始化时即融合。最终的蛋白质节点向量作为蛋白质特征输入到适配器中。
适配器通过线性投影层、位置编码和跨注意力机制将蛋白质编码器的信息与自然语言对齐。通过引入可学习的查询向量，适配器能够提取蛋白质特征中的关键语义信息，并将其转换为蛋白质提示。随后将蛋白质提示与文本问题结合后输入到LLM中，通过LoRA技术对LLM进行微调，以提高模型的领域适应性。Prot2Chat的总训练参数为93M，显著低于其他现有模型。
3.1 改进现有的结构编码器 ProteinMPNN，无需训练即可实现结构和序列的早期融合。
3.2 基于这个蛋白质编码器，我们实现了一个仅含 93M 个训练参数的轻量级高效蛋白质大语言模型，能够实现蛋白质和文本信息的早期融合。
3.3 我们在各种评估数据集上进行了系统评估，以验证模型的生成能力和泛化能力。评估方式包括传统指标评估、在线大模型评估和人工专家评估。
该方法主要为解决蛋白质问答系统中分类方法生成内容灵活性不足、无法有效利用空间结构信息，以及缺乏系统的蛋白质问答系统评估指标等问题提出了新实现路径。
本文通过利用Mol-Instructions和UniProtQA数据集以及多种不同的基线模型(如LLaMA3和BioMedGPT)来进行对比试验；并且使用BLEU和ROUGE等传统指标评估文本生成效果的同时利用在线KIMI模型评估生成答案与目标文本的相似度。还进行了专家手动评估，以验证模型输出的质量。
实验结果表明，直接将蛋白质序列输入LLM会导致生成的文本混乱无序。而整合结构信息后，模型性能显著提升。Prot2Chat在Mol-Instructions和UniProtQA数据集上的表现均优于其他基线模型，验证了其强大的泛化能力。
Download Prot2Chat repository from https://www.modelscope.cn/models/wangzc025/prot2chat/files
Prepare environment for Prot2Chat in prot2chat/requirement.sh
Run generation demo
python generate.py
-base_model_path=your_path_to_base_model
-lora_weight_path=your_path_to_lora_weight.pth
-pdb_path=your_path_to_pdbs
-checkpoint_path=your_path_to_adapter_checkpoint
-conversation_data_path=your_path_to_QAdata_test.json
点击阅读原文， 即可跳转模型链接~
