集智俱乐部 前天 21:17
综述导读 | 推荐系统的图基础模型
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

北邮GAMMA Lab与百度合作发布综述,系统探讨了图基础模型(GFM)在推荐领域的应用。GFM整合了图神经网络(GNN)与大语言模型(LLM)的优势,更有效地结合结构与文本信息。文章将研究方法分为图增强LLM、LLM增强图以及图与LLM协调三类,为推荐系统提供了新的研究视角和发展方向。

💡 图基础模型(GFM)是整合了图神经网络(GNN)和大语言模型(LLM)的新兴技术,旨在提升推荐系统的性能。它通过结合GNN处理结构化数据的能力和LLM处理文本信息的能力,实现更精准的推荐。

🤝 文章将GFM在推荐领域的应用方法分为三大类:图增强LLM、LLM增强图以及图和LLM协调。图增强LLM利用图的结构信息辅助LLM,而LLM增强图则主要依赖图的结构信息,LLM提供辅助信息。图和LLM协调方法则侧重于两者嵌入的表征空间变换。

📚 该综述全面调研了基于GFM的推荐系统相关工作,并对该领域进行了系统性的介绍,是该领域的第一篇综述。它不仅提供了清晰的分类方法,还指出了该领域面临的挑战和未来的研究方向,为该领域的研究提供了重要的参考。

伍斌 2025-04-18 18:04 上海


导语


推荐系统需同时处理结构信息和文本信息,但传统图神经网络(GNN)难以处理复杂语义,大语言模型(LLM)则缺乏对结构信息的理解。北邮GAMMA Lab与百度合作发布的综述首次系统讨论了图基础模型(GFM)在推荐领域的应用,GFM整合了GNN与LLM的优势,更有效地结合结构与文本信息。研究方法分为图增强LLM、LLM增强图以及图与LLM协调三类,为推荐系统提供了新范式。


关键词:推荐系统、图基础模型(GFM)、图神经网络(GNN)、大语言模型(LLM)、协同过滤、结构信息、多模态推荐、知识整合

伍斌丨作者

北邮 GAMMA Lab丨来源



去年7月,我们在arXiv网站上推出了图基础模型综述文章《Towards Graph Foundation Models: A Survey and Beyond》的V3版本,这篇综述自最初版本首次提出图基础模型的核心概念并探讨了它们的能力和特征以来,进一步迭代,力求全面覆盖该领域的研究并跟进最新研究进展。


近日,北邮GAMMA Lab师生与百度公司多名推荐领域专家学者合作发布了名为“Graph Foundation Models for Recommendation: A Comprehensive Survey”的文章,首次讨论了图基础模型在推荐领域的应用,并提出了该领域的挑战和未来研究方向。


标题:Graph Foundation Models for Recommendation: A Comprehensive Survey

作者:Bin Wu, Yihang Wang, Yuanhao Zeng, Jiawei Liu, Jiashu Zhao, Cheng Yang, Yawen Li, Long Xia, Dawei Yin, Chuan Shi

链接:https://arxiv.org/abs/2502.08346


简介:

推荐系统(Recommender System,RS)已经成为现代数字化社会不可或缺的一部分,它的应用范围广泛,包括电子商务、社交媒体以及娱乐等多个领域。在这些领域中,推荐系统为我们提供个性化服务。这些推荐系统所依赖的数据通常包含结构信息,例如用户与物品之间的交互,以及文本信息,如用户属性和物品描述等。随着图学习的快速发展,基于图神经网络(GNN)的方法已经在推荐系统中占据重要的地位,它们不仅增强了协同过滤中的协同信号,还将这些信号扩展到了更高阶的结构中。然而,由于GNN的设计目标是建模相关性,它难以处理复杂语义。另一方面,LLM在自然语言处理(NLP)领域的影响力不言而喻,它的应用也延伸到了推荐系统领域。通过借助LLM强大的文本处理能力,我们可以有效地处理用户和物品的文本信息,并整合世界知识以提升推荐的效果。但是,它们的推理能力受限于难以精细理解结构信息。受LLM在NLP领域的成功的启发,图学习领域正在发生变革,图基础模型(GFM)随之诞生。GFM通过整合GNN和LLM的技术,使得推荐系统能够更有效地利用数据来对齐用户的偏好,做出更精准的推荐。基于GFM的推荐系统可以高效地利用结构信息和文本信息,这使得它们有很大的潜力成为推荐系统的新兴范式。



GFM有效地利用了GNN和LLM的技术互补性。GNN在建模文本信息方面存在困难,而LLM的推理能力并不支持它们理解更高阶的结构信息。这两种技术在GFM中互补了彼此的不足,为推荐领域的未来创造了新的可能。在这个综述中,我们全面调研了基于GFM的推荐系统的相关工作,并基于图和LLM在GFM中的协同关系做出了清晰的分类:图增强LLMLLM增强图以及图和LLM协调。图增强LLM方法可以被视为利用图的结构信息来辅助LLM预训练获取的知识进行推荐。而LLM增强图方法,则是由图的结构信息主导,LLM的世界知识作为辅助信息。图和LLM协调方法则是让两者的嵌入在表征空间进行变换。


图增强LLM的方法


LLM增强图的方法


图和LLM协调的方法


推荐系统作为学术界和工业界的常青树,已经成为许多综述的核心主题。其中,一部分研究专注于探索具体推荐方法,如基于图神经网络(GNN)的推荐系统,或者是基于大语言模型(LLM)的推荐系统。另一些研究则关注如何运用大语言模型(LLM)来增强图,从而解决与图相关的问题。然而,随着图学习领域的快速发展,图基础模型正在崭露头角,它很有可能成为推荐系统研究的新范式。我们的这篇综述旨在提供一个全面且具有时效性的概览,尽可能地覆盖基于图基础模型的推荐系统的所有相关工作。


这篇综述的贡献可以归纳为以下几个方面:


该综述的主要章节安排如下:第1节,我们简要介绍了推荐系统以及基于GFM的推荐系统,并阐明了我们文章的动机与贡献。第2节中,我们进一步介绍这个领域的一些背景知识,包括基于GNN的推荐系统,基于LLM的推荐系统以及图基础模型。后面3到5节我们在图增强LLM,LLM增强图,图和LLM的协调三个分类中对这个领域的方法做了细致地介绍和讨论。而在第6节,我们讨论了基于图基础模型的推荐系统的未来方向。



图神经网络与组合优化读书会


现实世界中大量问题的解决依赖于算法的设计与求解。传统算法由人类专家设计,而随着人工智能技术不断发展,算法自动学习算法的案例日益增多,如以神经网络为代表的的人工智能算法,这是算法神经化求解的缘由。在算法神经化求解方向上,图神经网络是一个强有力的工具,能够充分利用图结构的特性,实现对高复杂度算法的高效近似求解。基于图神经网络的复杂系统优化与控制将会是大模型热潮之后新的未来方向。

为了探讨图神经网络在算法神经化求解的发展与现实应用,集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院副教授黄文炳,共同发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域,包括神经算法推理、组合优化问题求解、几何图神经网络,以及算法神经化求解在 AI for Science 中的应用等方面,希望为参与者提供一个学术交流平台,激发参与者的学术兴趣,进一步推动相关领域的研究和应用发展。欢迎感兴趣的朋友报名参与!

详情请见:
加速经典算法效率,突破现实技术瓶颈:图神经网络与组合优化读书会启动



推荐阅读
1. 图与基础模型:多模态基础模型关系推理能力概述
2. 前沿综述:图基础模型是否代表图机器学习的下一个前沿
3. 图模型与因果推理基础- SCM框架和Do-Calculus
4. 涌现动力学如何用来分析复杂系统? | 新课上线
5. AI时代的学习:共探人类学习的复杂性

6. 探索者计划 | 集智俱乐部2025内容团队招募(全职&兼职)



点击“阅读原文”,报名读书会

阅读原文

跳转微信打开

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

推荐系统 图基础模型 GNN LLM
相关文章