本文深入探讨了激活函数在神经网络中的重要性。文章首先区分了线性与非线性表达，强调了现实世界中诸多问题的非线性特征。接着，文章阐述了激活函数如何通过引入非线性，使神经网络能够处理复杂任务，例如图像识别和自然语言处理。文章最后总结了激活函数的关键作用，以及数学理论对这一观点的支持。

💡 线性表达与非线性表达是理解神经网络的关键。线性表达如同直线，输入与输出成比例关系；非线性表达则复杂多变，如曲线、拐点等，更贴近现实世界中的复杂问题。

💡 神经网络若无激活函数，即使多层叠加也仅为线性组合。激活函数作为“魔法变换器”，引入非线性，使网络能够“弯曲”、“跳跃”，从而处理复杂的模式。

💡 激活函数在图像识别和自然语言处理等任务中至关重要。例如，识别图像中的猫需要捕捉形状、边缘等非线性特征；理解语言的语义也需要多层抽象和非线性表达。

💡 通用逼近定理为激活函数提供了数学支持。该定理表明，只要神经网络有一层隐藏层并使用非线性激活函数，理论上就可以逼近任何连续函数，赋予了神经网络强大的学习能力。

神经网络的威力有多强？现在的大模型可以写诗作画、图像识别可以识人识猫，这背后都是神经网络的功劳。而激活函数在其中扮演着重要的角色，如果神经网络中没有“激活函数”，再深的网络其实也没啥用。本质上，它只是一堆线性函数的叠加，无法处理真正复杂的任务。本文分享一个关键问题：

激活函数为什么能增强神经网络的“非线性表达能力”？

---

1. 什么是“线性表达”？什么是“非线性表达”？

在进入神经网络之前，先明确两个关键词：线性 和 非线性。

1.1 线性表达：像直线一样简单

我们常见的公式：

这就是线性表达。输入 x增加一倍，输出 yyy 也按比例增加——关系可预测、简单直白。

再比如：

工资 = 每小时薪水 × 工时商品总价 = 单价 × 数量

这些都是线性表达。

1.2 非线性表达：像迷宫一样复杂

但现实生活中，很多事情并不是线性的：

学习时间和成绩之间，不是简单的“学得多就考得高”；一张图像的像素变化，与“是不是猫”之间关系远非线性；大脑如何理解一段文字，涉及到层层抽象和语义联想。

这类“非线性表达”往往表现为：

曲线拐点变化速率不恒定多个因素之间交互影响

比如：

2. 神经网络想要“聪明”，就必须非线性

即时神经网络叠几十层，也很难解决复杂问题！因为如果没有激活函数，这些网络做再多层，也不过是一个“超级线性函数”。

来看个例子

这是两层线性变换，数学上可以简化成一层：

还是线性。

这就像你用 100 根尺子堆在一起，还是只能画直线。

3. 激活函数对神经网络的作用

常见激活函数：深度学习之激活函数

那么，怎么让网络学会“弯曲”、“跳跃”、“识别复杂模式”呢？

关键就在这里——激活函数（activation function）！

激活函数是神经网络中的“魔法变换器”，它的本质是一个非线性函数。例如：

激活函数	公式	特点
ReLU	$f(x)=max⁡(0,x)$	截断负值，保留正值
Sigmoid	$f(x)=\frac{1}{1 + e^{-x}}$	S型曲线
Tanh	$f(x)=tanh⁡(x)$	-1 到 1 的平滑曲线

这些函数对输出进行了“弯曲处理”，一旦加入网络，每一层就不再只是单纯的线性组合。

例如 ReLU：

输入负值：输出 0（斩断）输入正值：原样输出（线性）

把 ReLU 放到网络层之间，网络就拥有了“非线性能力”，可以画曲线、识别边缘、理解复杂模式。

4. 现实中的例子：为什么非线性才“聪明”？

4.1 图像识别

判断图片里是不是猫：

猫耳朵是三角形猫眼睛是椭圆形毛发边缘有纹理

这些不是线性叠加能搞定的——得学会看“形状”、“边缘”、“组合模式”——全是非线性特征。

4.2 自然语言处理

一句话“我不讨厌你”，和“我讨厌你”只差一个“不”，意思却完全相反。

这不是线性加减能理解的，而是需要通过多层抽象、非线性表达捕捉语义。

5. 数学理论支持：通用逼近定理

不仅直觉上合理，数学上也有“通用逼近定理”支持这一观点：

只要神经网络有一层隐藏层，并使用非线性激活函数，它就可以逼近任意连续函数。

这意味着，只要网络足够大、结构合理，有了激活函数，它理论上可以学习任何你想要的映射关系！

六、总结

关键词	内容
线性表达	输入和输出之间是直线关系，简单可预测
非线性表达	输入输出之间有复杂变化，需更强表达力
激活函数作用	引入非线性，使神经网络能处理复杂问题
现实意义	图像识别、语言处理等任务都需要非线性能力