伍斌 2025-04-18 18:04 上海
导语
推荐系统需同时处理结构信息和文本信息,但传统图神经网络(GNN)难以处理复杂语义,大语言模型(LLM)则缺乏对结构信息的理解。北邮GAMMA Lab与百度合作发布的综述首次系统讨论了图基础模型(GFM)在推荐领域的应用,GFM整合了GNN与LLM的优势,更有效地结合结构与文本信息。研究方法分为图增强LLM、LLM增强图以及图与LLM协调三类,为推荐系统提供了新范式。
关键词:推荐系统、图基础模型(GFM)、图神经网络(GNN)、大语言模型(LLM)、协同过滤、结构信息、多模态推荐、知识整合
伍斌丨作者
北邮 GAMMA Lab丨来源
去年7月,我们在arXiv网站上推出了图基础模型综述文章《Towards Graph Foundation Models: A Survey and Beyond》的V3版本,这篇综述自最初版本首次提出图基础模型的核心概念并探讨了它们的能力和特征以来,进一步迭代,力求全面覆盖该领域的研究并跟进最新研究进展。
近日,北邮GAMMA Lab师生与百度公司多名推荐领域专家学者合作发布了名为“Graph Foundation Models for Recommendation: A Comprehensive Survey”的文章,首次讨论了图基础模型在推荐领域的应用,并提出了该领域的挑战和未来研究方向。
标题:Graph Foundation Models for Recommendation: A Comprehensive Survey
作者:Bin Wu, Yihang Wang, Yuanhao Zeng, Jiawei Liu, Jiashu Zhao, Cheng Yang, Yawen Li, Long Xia, Dawei Yin, Chuan Shi
简介:
推荐系统(Recommender System,RS)已经成为现代数字化社会不可或缺的一部分,它的应用范围广泛,包括电子商务、社交媒体以及娱乐等多个领域。在这些领域中,推荐系统为我们提供个性化服务。这些推荐系统所依赖的数据通常包含结构信息,例如用户与物品之间的交互,以及文本信息,如用户属性和物品描述等。随着图学习的快速发展,基于图神经网络(GNN)的方法已经在推荐系统中占据重要的地位,它们不仅增强了协同过滤中的协同信号,还将这些信号扩展到了更高阶的结构中。然而,由于GNN的设计目标是建模相关性,它难以处理复杂语义。另一方面,LLM在自然语言处理(NLP)领域的影响力不言而喻,它的应用也延伸到了推荐系统领域。通过借助LLM强大的文本处理能力,我们可以有效地处理用户和物品的文本信息,并整合世界知识以提升推荐的效果。但是,它们的推理能力受限于难以精细理解结构信息。受LLM在NLP领域的成功的启发,图学习领域正在发生变革,图基础模型(GFM)随之诞生。GFM通过整合GNN和LLM的技术,使得推荐系统能够更有效地利用数据来对齐用户的偏好,做出更精准的推荐。基于GFM的推荐系统可以高效地利用结构信息和文本信息,这使得它们有很大的潜力成为推荐系统的新兴范式。
GFM有效地利用了GNN和LLM的技术互补性。GNN在建模文本信息方面存在困难,而LLM的推理能力并不支持它们理解更高阶的结构信息。这两种技术在GFM中互补了彼此的不足,为推荐领域的未来创造了新的可能。在这个综述中,我们全面调研了基于GFM的推荐系统的相关工作,并基于图和LLM在GFM中的协同关系做出了清晰的分类:图增强LLM,LLM增强图以及图和LLM协调。图增强LLM方法可以被视为利用图的结构信息来辅助LLM预训练获取的知识进行推荐。而LLM增强图方法,则是由图的结构信息主导,LLM的世界知识作为辅助信息。图和LLM协调方法则是让两者的嵌入在表征空间进行变换。
图增强LLM的方法
LLM增强图的方法
图和LLM协调的方法
推荐系统作为学术界和工业界的常青树,已经成为许多综述的核心主题。其中,一部分研究专注于探索具体推荐方法,如基于图神经网络(GNN)的推荐系统,或者是基于大语言模型(LLM)的推荐系统。另一些研究则关注如何运用大语言模型(LLM)来增强图,从而解决与图相关的问题。然而,随着图学习领域的快速发展,图基础模型正在崭露头角,它很有可能成为推荐系统研究的新范式。我们的这篇综述旨在提供一个全面且具有时效性的概览,尽可能地覆盖基于图基础模型的推荐系统的所有相关工作。
这篇综述的贡献可以归纳为以下几个方面:
我们对基于图基础模型的推荐系统这个研究领域做了全面的介绍,据我们所知这是这个领域的第一篇综述。
我们设计了一套清晰的分类法,使得未来的研究能够轻松地归入相应的类别。
我们提出了本领域所面临的挑战以及未来可能的研究方向,这将为这个快速发展的领域提供一定的参考。
该综述的主要章节安排如下:第1节,我们简要介绍了推荐系统以及基于GFM的推荐系统,并阐明了我们文章的动机与贡献。第2节中,我们进一步介绍这个领域的一些背景知识,包括基于GNN的推荐系统,基于LLM的推荐系统以及图基础模型。后面3到5节我们在图增强LLM,LLM增强图,图和LLM的协调三个分类中对这个领域的方法做了细致地介绍和讨论。而在第6节,我们讨论了基于图基础模型的推荐系统的未来方向。
图神经网络与组合优化读书会
6. 探索者计划 | 集智俱乐部2025内容团队招募(全职&兼职)