index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html
![]()
2017年，谷歌发布的论文《Attention Is All You Need》开启了生成式AI的时代。Transformer架构催生了ChatGPT、Gemini等，深刻影响了人类社会。尽管最初并未受到广泛关注，但其影响力持续至今，被引次数超过18万。论文的简洁标题也引发了学界的玩梗热潮。八年来，Transformer架构不断演进，模型规模指数级增长，推动了AI能力的飞跃。然而，随着竞争加剧，最初的团队也已分道扬镳。Transformer的未来仍然充满挑战，但它已在AI历史上留下了不可磨灭的印记。
✨《Attention Is All You Need》的发布：这篇论文在2017年NeurIPS会议上发表，尽管未获得最佳论文，却奠定了Transformer架构的基础，开启了生成式AI的时代。
🚀Transformer架构的影响：Transformer催生了如ChatGPT、Gemini等众多前沿产品，推动了AI技术的快速发展，并引发了“X Is All You Need”的玩梗文化。
📈模型规模的扩张：研究者们不断优化Transformer架构，并通过扩大模型规模来提升性能，如BERT、GPT-2和GPT-3等，模型参数呈指数级增长，展现出强大的零样本/小样本学习能力。
💔团队变动与未来挑战：随着AI领域的竞争加剧，Transformer的最初团队成员也已分道扬镳，但Transformer架构仍在不断发展，其未来发展和影响力仍有待观察。
【新智元导读】Transformer已满8岁，革命性论文《Attention Is All You Need》被引超18万次，掀起生成式AI革命。Transformer，八岁了！开创如今这场生成式AI革命的论文《Attention Is All You Need》迎来了第8个年头。Transformer催生了ChatGPT、Gemini、Claude等诸多前沿产品。更重要的是，它让人类真正跨入了生成式AI时代。
人类和生成式AI的命运从2017年6月12日周一下午17点57分开始交汇。Transformer的影响依然还在继续！到今天为止，这篇论文的被引次数已经到了184376！
而在两年前的6周年时候，被引次数是77926。
仅仅过去两年时间，被引用次数翻了2倍还多！网友们也纷纷为Transformer 8岁生日送上祝福。但和所有传奇故事的开头都非常相似，这篇论文当年甚至没有引起人们的Attention（注意）。一篇未获人们「Attention」的传奇论文Transformer发表在2017年的NeurIPS上，这是全球顶级的人工智能会议之一。然而，它甚至没有获得Oral演讲，更不用说获奖了。2017年的NeurlPS获奖论文从如今的影响力和现实意义来看，谷歌公开这篇文章算得上是「功德无量」。网友也盛赞谷歌的做事方式，允许任何人完全免费使用，甚至不需要许可证授权。但随着生成式AI的发展，各家巨头的加入，谷歌也开始逐渐收回自己的「善意」。在大模型如今竞争白热化的当下，谷歌DeepMind要求所有科研人员的生成式AI相关论文设定6个月禁发期！
DeepMind的CEO Hassabis曾表示：不接受，就辞职，这里是公司，不是大学校园；想在大学那样的环境工作，那就请你离开。不仅如此，创新成果不发，Gemini短板也不能提。或许谷歌一开始也并没有预料到Transformer会影响人类历史如此深远。人人都爱Transformer作为一篇严肃的机器学习向论文，《Attention Is All You Need》自发布以来，已经有无数人进行了解读。不论是否和机器学习行业相关，人们「渴望」搞清楚目前生成式AI的能力究竟来源于哪里。不论是国内还是海外，试图带你读懂论文的视频都有很高的热度，并且直到今天，「教你学会」、「带你看懂」等内容依然有非常高的播放量。科技领域的顶级KOL Lex Fridman和AI界的顶级科学家Andrej Karpathy 认为Transformer是AI世界中「最棒的想法」，没有之一。
而「XXX Is All You Need」甚至成为了严肃学界乐此不疲的玩梗素材。论文题目直接套用了披头士名曲《All You Need Is Love》的说法，也正因其简洁而响亮的表达方式，迅速被AI学界和网络社区广泛引用和调侃——从「Attention Is All You Need」延伸为「X Is All You Need」的各种变体，形成一整套互联网meme式的幽默结构 。「标题的成功」还引发了一连串同样玩梗的论文出现，这些论文的标题或内容都借用了这一俏皮话。有研究人员甚至制作了一张图展示了对所有这些论文的综述，使读者能够总结出这些论断出现的背景及其原因。Transformer后时代：AI八年狂飙自Transformer问世以来的八年间，研究者和工程师们围绕这一架构进行了大量探索和改进。Transformer的发展历程既包括模型本身的架构优化，也包括模型规模的指数级扩展，以及向多模态领域的延伸融合。Transformer架构天然适合并行计算，这使得研究人员能够不断堆高模型参数规模，验证「大模型是否更聪明」。事实也证明，参数和数据规模的扩张带来了
质的飞跃。从最初论文中的亿级参数模型，到2018年的BERT（3.4亿参数）和GPT-2（15亿参数），再到2020年的GPT-3（1750亿参数），模型大小呈指数级增长。OpenAI等机构的研究揭示了清晰的Scaling Law（规模定律）：模型越大，数据越多，性能越佳且涌现出小模型不具备的新能力。随着规模扩张，Transformer模型展现出令人惊叹的零样本/小样本学习能力，即无需或只需极少示例就能完成新任务。模型规模的扩展带来了AI能力的质变，使Transformer成为真正的基础模型（Foundation Model）——一经训练即可泛化支持众多下游应用。不过，每个传奇故事似乎都没有那么Happy Ending的结尾。曾经联手打造出谷歌最强Transformer的「变形金刚们」如今也已分道扬镳。8年前一篇不起眼的论文，却彻底开启了人类的生成式AI时代。这个被忽视的小论文，彻底开启了AI的大时代。它的故事还远远没有结束。目前的AI仍然继续在Transformer架构基础上狂飙突进。Transformer的影响力还能持续多久，也许只有等AGI实现那天来回答了。但无论未来AI技术如何演变，Transformer已经在历史上留下永久且深刻的印记。
文章原文
