本文深入解析了权重衰减（L2正则化）在机器学习中的作用。它通过在损失函数中增加权重平方惩罚项，防止模型过拟合，提高泛化能力。文章详细介绍了权重衰减的数学表达式，阐述了其减小权重、提高数值稳定性、提升训练速度和模型鲁棒性的作用。同时，对比了L1正则化的区别，并展示了在PyTorch和TensorFlow/Keras等框架中的应用方法。权重衰减是改善深度学习模型训练效果的关键技术。

🛡️权重衰减（L2正则化）通过在原始损失函数中添加关于模型参数（权重）大小的惩罚项，避免模型过度依赖某些特征，从而提升模型的稳定性和泛化能力。

📉权重衰减的数学表达式为 Lossnew=Lossoriginal+12λ∥w∥22，其中λ是正则化系数，控制惩罚项的强度。其作用是在优化过程中不断“拉回”权重，防止它们无限制地增大，从而控制模型复杂度。

🚀权重衰减具有多重作用：防止过拟合，减小权重，降低模型复杂度；提高数值稳定性，缓解梯度爆炸；提升训练速度，较小的权重使梯度下降法更快收敛；提高模型鲁棒性，使模型对输入噪声更不敏感。

🆚L2正则化（权重衰减）与L1正则化的主要区别在于，L2让权重接近0但不为0，而L1让权重稀疏（部分变为0）。L2适用于防止过拟合，控制模型复杂度，L1适用于特征选择，提升模型可解释性。

权重衰减（Weight Decay）详解 | L2正则化的奥秘

在深度学习和机器学习模型训练中，我们常常面临 过拟合（Overfitting） 的问题。
为了提高模型在未见数据上的泛化能力，正则化（Regularization） 技术应运而生。
其中，最常用的一种正则化方法就是——权重衰减（Weight Decay） 。

本文将围绕权重衰减的概念、公式推导、作用机制以及应用场景进行详细讲解。

---

什么是权重衰减（Weight Decay）？

权重衰减，又叫作 L2正则化，本质上是在原始损失函数（Loss）中，添加一项关于模型参数（权重）大小的惩罚项。

简单来说，除了最小化预测误差之外，还希望模型的参数（即权重）本身不要太大。

这样做的目的，是避免模型过度依赖某些特征，提升模型的稳定性和泛化能力。

---

权重衰减的数学表达式

权重衰减的基本公式如下（也可以参考下方插图展示的内容）：

$\text{Loss}_{\text{new}} = \text{Loss}_{\text{original}} + \frac{1}{2} \lambda \|w\|_2^2$

其中：

$\text{Loss}_{\text{original}}$：原始损失函数（如均方误差、交叉熵损失等）ww：模型的权重向量$\|w\|_2^2$：权重向量的L2范数的平方λ：正则化系数，控制惩罚项的强度（通常是一个很小的数，例如 0.001）

简要解释：

第一项是模型原本需要最小化的损失。第二项是惩罚项，防止权重过大。两项之和成为新的目标损失。

从直观上理解：
权重衰减会在优化过程中不断“拉回”权重，防止它们无限制地增大，从而控制模型复杂度。

---

图示解读

来看这张非常直观的手绘图示：

大标题：权重衰减（Weight Decay）

中间公式：

$\text{Loss} = \text{Loss} + \frac{1}{2} \|w\|_2^2$

解释：

左侧蓝色部分是原本的损失函数。右侧红色部分是新增的L2正则化惩罚项。中间绿色箭头和橙色标注，明确指出了两部分各自的含义。

此外，图中也提到：“在回归中，L2正则化惩罚项的使用称为岭回归（Ridge Regression） ”。
这强调了权重衰减在传统统计学习中的经典应用。

---

权重衰减的作用

权重衰减具有以下几大主要作用：

防止过拟合
减小权重，降低模型复杂度，使模型更好地在测试集上泛化。提高数值稳定性
权重值过大容易导致梯度爆炸，权重衰减可以有效缓解这种情况。提升训练速度
较小的权重可以让梯度下降法更快收敛。提高模型鲁棒性
权重较小的模型通常对输入噪声更加不敏感，表现更稳健。

---

权重衰减与其他正则化的区别

项目	权重衰减（L2正则化）	L1正则化
惩罚项形式	$\|w\|_2^2$	$\|w\|_1$
权重效果	让权重接近0但不为0	让权重稀疏（部分变为0）
应用场景	防止过拟合，控制模型复杂度	特征选择，提升模型可解释性

简而言之：

想让参数都尽量小：用L2正则化（权重衰减）想让部分参数直接归零：用L1正则化

---

如何在常见框架中使用权重衰减？

在现代深度学习框架中，设置权重衰减非常简单。
比如在 PyTorch 中，只需要在优化器中设置 weight_decay 参数：

import torch.optim as optimoptimizer = optim.SGD(model.parameters(), lr=0.01, weight_decay=1e-4)

在 TensorFlow/Keras 中，也可以通过添加 L2正则化器（tf.keras.regularizers.l2）来实现。

---

总结

项目	内容
定义	在损失函数中增加权重平方惩罚项
目的	防止过拟合，提高泛化能力
数学表达式	$\text{Loss} = \text{Loss} + \frac{1}{2} \lambda \|w\|_2^2$
常见应用	深度学习模型训练、岭回归

权重衰减是一个简单但非常有效的正则化方法，尤其适合用来改善深度学习模型的训练效果。
掌握权重衰减的原理和使用方法，是迈向深入理解机器学习优化技术的重要一步！

---

参考资料

Deep Learning by Ian Goodfellow李航《统计学习方法》Chris Albon（数据科学家手绘笔记）

---

如果你喜欢这类直观易懂的机器学习内容，欢迎点赞、收藏、关注我！