本报告聚焦于深度神经网络，特别是Transformer模型中的“懒惰神经元”现象，即模型在推理时仅激活少数神经元。报告将深入探讨激活稀疏性的本质、意义，并介绍如何利用“稀疏激活预测机制”等策略，在不影响模型性能的前提下，显著提升大模型的推理效率，解决计算成本和能耗问题。报告嘉宾为谷歌研究院高级研究科学家由翀。

💡 “懒惰神经元”现象揭示了训练完成的Transformer模型在处理输入样本时，仅有极少数神经元会激活，这是一种普遍存在的激活稀疏性。

🚀 激活稀疏性是提高大模型推理效率的关键。主流Transformer模型虽然计算密集，但“懒惰神经元”现象表明其内部存在未被充分利用的计算潜力。

⚙️ 《Spark Transformer》论文提出了一种创新的结构设计，通过“稀疏激活预测机制”（Statistical Top-k），能在不牺牲模型性能的前提下，大幅提升模型的推理效率。

📈 报告旨在探讨激活稀疏性的发生机制、本质及其对模型表现的影响，并将其转化为实际的模型优化策略，以应对大模型高昂的计算成本和能耗问题。