💡 **项目目标与定位**：Happy-LLM项目旨在通过系统性教程，帮助读者深入理解大语言模型的原理和训练过程，从NLP基础出发，剖析LLM架构和训练流程，实现理论与实践相结合。

🚀 **核心内容与架构**：教程分为基础知识和实战应用两部分。基础知识部分介绍NLP基本任务、Transformer架构、预训练模型等；实战应用部分则包括基于PyTorch搭建LLM、使用Transformers框架训练LLM，以及RAG、Agent等前沿技术应用。

🛠️ **实践操作与代码**：项目鼓励读者将理论与实践相结合，提供代码复现，并建议参与LLM相关项目与比赛。教程将指导读者动手实现一个完整的LLaMA2模型，并掌握预训练到微调的全流程。

🧑‍🎓 **适用人群与学习建议**：项目适合大学生、研究人员和LLM爱好者，建议具备一定的编程和深度学习基础。鼓励读者积极参与开源社区，解决问题，共同丰富LLM世界。

原创 happy-llm 2025-06-01 23:50 山西

Datawhale团队贡献！

开源初心

很多小伙伴在看完《self-llm：开源大模型食用指南》后，感觉意犹未尽，想要深入了解大语言模型的原理和训练过程。

于是我们就从去年密谋到现在，决定正式推出一个硬核项目《Happy-LLM》——一个大模型从理论到实践的系统性教程，希望通过这个项目真正帮助大家深入理解大语言模型的原理和训练过程。

学习指南

本项目分为两部分——基础知识与实战应用。

图2.项目目录

第1章～第4章是基础知识部分，从浅入深介绍 LLM 的基本原理。

第1章：简单介绍 NLP 的基本任务和发展，为非 NLP 领域研究者提供参考

第2章：介绍 LLM 的基本架构——Transformer，包括原理介绍及代码实现，作为 LLM 最重要的理论基础；

第3章：整体介绍经典的 PLM，包括 Encoder-Only、Encoder-Decoder 和 Decoder-Only 三种架构，也同时介绍了当前一些主流 LLM 的架构和思想；

第4章则正式进入 LLM 部分，详细介绍 LLM 的特点、能力和整体训练过程。

第5章～第7章是实战应用部分，将逐步带领大家深入 LLM 的底层细节。

第5章：将带领大家者基于 PyTorch 层亲手搭建一个 LLM，并实现预训练、有监督微调的全流程；

第6章：将引入目前业界主流的 LLM 训练框架 Transformers，带领学习者基于该框架快速、高效地实现 LLM 训练过程；

第7章：将介绍 基于 LLM 的各种应用，补全学习者对 LLM 体系的认知，包括 LLM 的评测、检索增强生产（Retrieval-Augmented Generation，RAG）、智能体（Agent）的思想和简单实现。

在阅读本项目的过程中，建议你将理论和实际相结合。LLM 是一个快速发展、注重实践的领域，我们建议你多投入实战，复现本项目提供的各种代码，同时积极参加 LLM 相关的项目与比赛，真正投入到 LLM 开发的浪潮中。我们鼓励你关注 Datawhale 及其他 LLM 相关开源社区，当遇到问题时，你可以随时在本项目的 issue 区提问。

文章最后

最后，欢迎每一位读者在学习完本项目后加入到 LLM 开发者的行列。

作为国内 AI 开源社区，我们希望充分聚集共创者，一起丰富这个开源 LLM 的世界，打造更多、更全面特色 LLM 的教程。

星火点点，汇聚成海。我们希望成为 LLM 与普罗大众的阶梯，以自由、平等的开源精神，拥抱更恢弘而辽阔的 LLM 世界。

开源贡献，点赞在看↓