🥇英伟达公司与Meta公司合作推出Llama-3.1-Minitron 4B AI模型，该模型运用结构化权重剪枝、知识提炼等先进技术，成功将参数规模蒸馏至40亿，实现了模型的小型化与高性能的结合。

✂️Llama-3.1-Minitron 4B模型是在Llama-3.1-Minitron 8B基础上进行蒸馏的。英伟达在深度和宽度方向上采用结构化剪枝技术，通过删除16层进行深度剪枝，将模型从8B缩减为4B，并通过修剪嵌入维度和MLP中间层进行宽度剪枝。

📚英伟达还运用经典蒸馏技术提高Llama-3.1-Minitron 4B的效率。知识蒸馏过程中，较小的模型（学生）被训练模仿更大、更复杂的模型（教师）的行为，使小模型在保留大部分预测能力的同时，具有更快的速度和更节省的资源。

IT之家 8 月 17 日消息，英伟达公司联合 Meta 公司发布了最新的 Llama-3.1-Minitron 4B AI 模型，主要通过结构化权重剪枝、知识提炼等尖端技术，成功蒸馏（Distill）出 40 亿参数的“小而强”模型。

Llama-3.1-Minitron 4B 模型在 Llama-3.1-Minitron 8B 基础上蒸馏而来，英伟达在深度和宽度方向上使用了结构化剪枝技术。

IT之家注：剪枝是一种删除网络中不那么重要的层或神经元的技术，保留其性能的情况下，目的是减小模型的大小和复杂度。

英伟达通过从模型中删除 16 层来进行深度剪枝，并将其从 8B 模型缩减为 4B 模型，此外还部署另一种技术，通过修剪嵌入维度和 MLP 中间层来进行宽度剪枝。

除了剪枝，Nvidia 还采用了经典蒸馏技术来提高 Llama-3.1-Minitron 4B 的效率。

知识蒸馏是一个过程，在这个过程中，一个较小的模型（即学生）会被训练成模仿一个更大、更复杂的模型（即教师）的行为。通过这种方式，较小模型中保留了原始模型的大部分预测能力，但速度更快，资源更节省。

英伟达将此与蒸馏技术和剪枝技术相结合，确保重新训练的 4B 模型性能优异，并在更大的模型中得到很好的应用。