报告主题：Meta万亿参数级生成式推荐系统

报告日期：09月19日（周四）10:30-11:30

报告要点:

基于深度学习的大规模推荐系统在当代互联网生态（如在线内容平台和电子商务）扮演着不可或缺的角色。这些系统不仅优化了数十亿用户的个性化体验，还高效地促进了用户与所需内容或产品的匹配，从而实现多方利益的协同优化。然而，尽管现有的推荐模型已在海量用户行为数据（规模达每日数百亿条）和高维特征空间（特征数量达数千量级）上进行了训练，但其性能提升却未能与计算资源的增加呈现出预期的强相关性。这一现象引发了学界对现有模型架构及其可扩展性的深入思考和重新评估。

受Transformer类模型在自然语言处理和计算机视觉领域取得突破性进展的启发，我们对推荐系统的基本设计理念进行了系统性的重新审视。在此基础上，我们将推荐问题重构为生成式建模框架下的序列转换任务，提出了"生成式推荐"这一新范式。为了适应工业级推荐场景中高基数、动态的流式数据特点，我们进一步设计了一种新型架构——Hierarchical Sequential Transduction Units, HSTU。在合成数据集和公开数据集上的实证研究表明，HSTU模型在NDCG指标上较现有基准模型最高提升65.8%，展现出显著的性能优势。在计算效率方面，针对长度为8192的序列处理任务，HSTU较基于FlashAttention2的Transformer模型实现了5.3倍至15.2倍的训练速度提升。

为进一步优化推理效率，我们提出了M-FALCON推理算法。M-FALCON算法巧妙地利用微批处理等技术有效均摊计算成本，使得在保持与传统模型相同推理预算的前提下，我们能够以更高的QPS (1.5-3倍)部署计算复杂度为285倍的新型模型。这一创新保证了生成式推荐系统在实际应用中的高效率和低延迟，为其大规模部署奠定了坚实基础。

我们已在一个拥有数十亿用户的大型互联网平台上进行了基于HSTU和M-FALCON的万亿参数的生成式推荐系统的在线A/B测试。生成式推荐系统相较于传统系统在关键评估指标上达到了12.4%的显著提升，且该系统已成功部署于多个高流量场景。更为关键的是，我们观察到大规模生成式推荐系统的模型性能随训练计算量的增加呈现出明显的幂律增长特性。这一规律 (Scaling Law) 在三个数量级的范围内均保持一致，且最终达到了大语言模型（LLM）级的计算规模。这一发现不仅为未来推荐模型迭代过程中的计算资源优化提供了依据，也为推荐系统领域的首个基础模型（Foundation Model）铺平了道路，预示着推荐系统研究可能迎来的新的范式转换。

报告嘉宾：

Jiaqi Zhai，Meta 的杰出工程师。他领导了各种开发基础技术的计划，以改善 Facebook 和 Instagram 的推荐系统，其使命是将数十亿人连接到信息丰富、有趣且富有洞察力的内容。这使得在过去几年中推出的数百次，并取得了多项突破，包括生产中首次使用的万亿参数尺度生成推荐器。在加入 Meta 之前，佳琪在 Google 工作了 6 年，开发了 Search、Chrome、News 和 YouTube 使用的跨平台用户理解系统，这是 Google 首个具有分钟级延迟的十亿用户规模的在线学习系统，也是 2018 年在 Google Search 上部署的第一个生成模型。他的作品曾在 ICML、KDD、WWW 和 SIGMOD 等顶级会议上发表。

扫码报名