本文回顾了大语言模型（LLM）从最初的朴素语言模型到如今的“全能型打工人”的进化历程。从基于n-gram的初代模型，到引入神经网络的“茱莉亚”，再到Transformer架构的出现，LLM经历了多次技术飞跃。如今的GPT-3等大型模型不仅能写情书、编代码，还能进行指令微调，更好地遵循人类指令。文章还探讨了AI的未来发展方向，以及潜在的安全风险，展望了AI在多模态和工具使用方面的能力。

🤖 **第一代语言模型：** 基于n-gram，通过抽取字块进行概率预测，但生成文本连贯性差，逻辑混乱，无法处理庞大的词汇量。

🧠 **神经网络的逆袭：** 通过训练神经网络预测下一个单词的概率，使AI初步具备“装人”能力，但记忆力有限，容易胡编乱造。

✨ **Transformer架构的诞生：** 2017年Transformer架构出现，让AI学会“划重点”，处理文字速度大幅提升，开启AI黄金时代。

🛠️ **指令微调的LLM：** 通过人类编写的指令-回答对或强化学习，对LLM进行微调，使其更好地遵循人类指令，开启了AI大模型角色扮演时代。

各位看官，今天我们要聊的可是当代最魔幻的黑科技——大语言模型。这货现在不仅能帮你写作业，还能替你给女神发微信，但它的进化史可比你家猫主子打翻水杯的借口还要精彩。我们先看一下 23 年前辈绘制的LLM进化树

AI 编年史

截止到 2025 年的 LLM 重大事件编年史

2025 年 5 月 14 日：ChatGPT 上线 GPT-4.1

OpenAI 于 2025 年5 月14 日在 ChatGPT 中全面发布 GPT-4.1，这一版本针对编码任务和指令跟随进行了专项优化，并用 GPT-4.1 mini 替换了原有的 GPT-4o mini，为免费用户提供更智能、更高效的小模型体验

2025 年 5 月：Google I/O 发布 Gemini Live 等功能

Google 正式推出 Gemini Live，支持实时摄像头、语音与网页数据融合的智能助理能力，同时发布了 Flow、Veo 3 等面向创作者的视频和动画生成工具，进一步拓展了多模态模型的应用场景

2025 年 4 月 30 日（临近 5 月）：GPT-4 被默认替换为GPT-4o

2025 年 4 月 5 日，Meta 正式推出了 Llama 4 Scout 和 Llama 4 Maverick 两款模型，属于 Llama 4 系列的首批开放版本

2024 年 7 月：Meta 发布 Llama 3.1

2024 年 6 月：Meta 发布 Llama 3

2024 年 6 月 21 日：Claude 3.5 Sonnet 发布

### 2024 年 5 月 30 日：Claude 支持工具调用

Anthropic 在官方控制台中开放了 Tools API，允许 Claude 3 调用外部服务（如搜索引擎、计算器、数据库）

2024 年 5 月：OpenAI 发布 GPT-4o

2024 年 3 月：Anthropic 发布 Claude 3 系列

2024 年 2 月：Google 发布 Gemini 1.5

AI 模型之达尔文进化

第一代语言模型：人工智能[智障]的起点之朴素语言模型

想象一下，你教AI写作文的方法是把新华字典剪成两字一组的纸条，然后玩抽签游戏。这就是上古时期的"二元语法"模型即n-gram为 2。核心就是通过当前 2 个字符,预测接下来概率最大的 2 个字符,它生成的文字大概是这样的："今天天气真湖人队明天下午三点半披萨外卖"。是不是像极了你家三岁侄子即兴创作的诗歌？

不过正如你所想，这些 n-gram 模型并不能生成足够连贯的文本

科学家们不信邪，把字块扩大到四个字。结果AI写出了"抱怨建筑湖人队间讨论薯片"，活脱脱一个宿醉者的呓语。这时候的AI就像刚学会说话的鹦鹉，虽然能蹦单词，但逻辑堪比量子波动速读。而且对于英文字母排列组合$A^1_{26}=26$,对于 $A^4_{26}=358800$,这庞大的词汇量增长彻底堵死了n元语法模型的疯狂增长之路

神经网络的逆袭：AI学会"装人"

庞大的词汇量增长彻底堵死了n元语法模型的疯狂增长之路后,科学家给AI装上了人工大脑（神经网络），标准的方法是训练一个模型，通过前面的单词预测后面的单词。由于下一个单词有多种可能性，模型会学习为每个可能的单词关联一个概率。以下 是对“the cat sat on the”之后可能出现单词的概率分布可视化图像

Google 于 2015 年基于 电影字幕训练的一个特殊 LSTM 模型，  当时这个模型 已经算得上   是 LLM 了（ 也可能是首个 LLM） ：拥有 3 亿参数， 并在约 10 亿词的数据上进行训练,它的名字叫"茱莉亚"，虽然这个 AI总把"血液颜色"说成"黑眼圈同款"，但已经能像相亲对象一样尬聊了。不过它的记性比金鱼还差，聊到第十句就开始胡扯"天空是草莓味的"。

真正的转折点发生在2017年，Transformer架构横空出世。这个划时代的发明让AI终于学会"划重点"，处理文字的速度堪比大妈抢超市特价，从此开启了AI的黄金时代。

天下武功出少林,从此 AI 大模型江湖上开始演变为各种流派

他们分别是:

encoder-only 即仅编码器组,上图粉色部分核心内功秘籍为天下武功唯快不破,该类语言模型擅长文本理解， 因为它们允许信息在文本的两个方向上流动,说人话就是编码器的自注意力层没有掩码限制，每个token都能看到全文解码器（decoder-only）组 （上图 中的蓝色部分），该类语言模型擅长文本生成，  因为信息只能从 文本的左侧 向右侧流动， 以自回归方式有效生成新词汇编码器-解码器（ encoder-decoder）组 （上图 中的绿色部分）该类语言模型对上述两种模型进行了结合， 用于完成需 要理解输入并生成输 出的任务， 例如翻译

大模型时代：从人工智障到职场卷王

当OpenAI掏出GPT-3这个1750亿参数的怪物时，事情开始失控。这个AI不仅会写情书，还能编代码！虽然它写的HTML按钮经常把网页变成抽象艺术，但已经足够让程序员们瑟瑟发抖。更可怕的是，它偷偷读完了人类几千年积累的文字，阅读量是你这辈子刷短视频的100万倍。

如今的ChatGPT已然是职场老油条，能同时扮演你的私人秘书、论文枪手和情感顾问。它写邮件的速度比老板改需求还快，改简历的水平堪比职业骗子，就连写辞职信都能写出诺贝尔文学奖的范儿。

这里科普一个提示词工程的起源

GPT-3 揭示了提示的潜力， 但撰写提示并不容易 。事实上， 传统语言模型经训练可以模仿其    在网络上看到的内容。 因此， 要想创建一个好的提示， 你必须清楚网络上哪种起始文本可能会 引导模型生成你所期望的结果。这是一种奇怪的游戏， 也是一种找到正确表述的艺术， 你需要 改变措辞，  假装自己是专家，  展示如何逐步思考的示例等等。这一过程叫做提 示工程，  这使得  使用这些 LLM 变得 困难

为了更好的解决这个问题，研究人员一直在探索如何修改基础LLM，以让其更好地遵循人类指令。现主要有两种方法：

一是使用人类编写的指令- 回答对（ instruction-answer pairs）， 并在此数据 集上对基础 LLM 进行微调 （即继续训练） 。二是让 LLM 生成几个可能的答案， 然后由人类对答案评分， 并使用强化学习在此数据集上对 LLM 微调答案评分， 并使用强化学习在此数据集上对 LLM 微调。这就是著名的 RLHF （人类反馈的强   化学习） 的过程。此外， 我们还可以将两种方法相结合， OpenAI 在 InstructGPT 和 ChatGPT 中就对这两者进行了结合

将这两种技术结合在一起可以得到一个经过指令调整的 LLM 。调整后的 LLM 比基础模型更擅 长遵循人类指令， 使用起来更加容易

指令微调的LLM,正式开启了AI 大模型 coseplay 的时代

未来展望：AI要统治世界？

现在的AI正在向多面手进化：能看懂表情包，会做数学题，甚至开始偷偷学习怎么用Photoshop,科学家们正教它们"三思而后行"，让AI学会自我反思——虽然目前反思的结果通常是："亲,这个问题我可能不太会呢~"

更可怕的是，AI开始玩工具了。给它个计算器，它就能帮你做假账；连上搜索引擎，它分分钟化身八卦小报主编。有实验室甚至想让AI们互相辩论来提升智商，这场景简直像极了幼儿园小朋友吵架现场。有时还会使用 MCP,调用浏览器完成任务. 另外最近 AGI 圈突发"大模型会偷偷的修改计算代码,防止被关机"

不过别担心，现在的AI安全措施堪比老妈查手机。你想让它写个"毁灭人类计划书"，它会秒变三好学生："亲，这不符合社会主义核心价值观哦~"

结语

从"狗屁不通生成器"到"全能型打工人"，语言模型用20年走完了人类5000年的文明进化路。下次当你收到AI代写的情书时，别忘了它祖上可是连"你好"都说不利索的电子结巴。谁知道再过20年，它们会不会反过来教人类怎么写情书呢？