Hugging Face近期发布了新一代轻量级语言模型SmolLM2家族，该系列模型可在手机上运行，并包含135M、360M和1.7B三种不同参数规模的版本。SmolLM2在指令遵循、知识和理解能力方面均优于前一代，并支持改写、重要摘要和函数调用等任务。训练数据包括公开数据集和Hugging Face编排的数据集，模型训练采用监督式微调方法，1.7B版本还增加了数学和代码数据集。SmolLM2在多项基准测试中表现出色，超越了部分参数规模更大的模型，但仍存在仅支持英文、事实准确性、逻辑一致性和偏差等问题。Hugging Face建议用户将其作为辅助工具并谨慎评估其输出内容。

🤔 **SmolLM2家族模型的规模和版本:** SmolLM2家族包含135M、360M和1.7B三种不同参数规模的模型，其中135M参数模型分为基础版和Instruct版，360M和1.7B参数模型则分为基础版、Instruct版和GGUF版，共计11个模型。这些模型均以Apache 2.0授权开源，方便开发者使用和改进。135M、360M与1.7B三个规模的模型，分别使用了2兆、4兆和11兆字词的数据集进行训练，数据集来源包括公开数据集和Hugging Face编排的数据集，如FineWeb-Edu、DCLM和The Stack。此外，1.7B版本还额外使用了数学和代码数据集，进一步提升了其在相关领域的性能。

💻 **SmolLM2模型的训练方法和硬件环境:** SmolLM2系列模型的训练均采用Transformer decoder架构，并使用了监督式微调（supervised fine-tuning）方法。在硬件方面，135M和360M模型的训练是在64颗H100 GPU的服务器上进行的，而1.7B模型则使用了256颗H100 GPU的服务器进行训练。这种强大的计算资源和先进的训练方法，使得SmolLM2能够在较小的参数规模下，达到令人满意的效果。Hugging Face还应用了直接偏好优化（Direct Preference Optimization，DPO）演算法来强化模型的性能。

🚀 **SmolLM2模型的能力提升和应用场景:** SmolLM2系列模型在指令遵循、知识和理解能力方面均优于前一代SmolLM模型。得益于Argilla数据集（如Synth-APIGen-v 0.1）的使用，Instruct模型还支持改写、重要摘要、与函数调用等任务，进一步拓展了其应用范围。在多项基准测试中，SmolLM2-1.7B的表现超过了参数规模更大的Llama-1B-Instruct和阿里巴巴的Qwen2.5-1.5B-Instruct，展现了其强大的性能。然而，SmolLM2目前仅支持英文内容的理解和生成，并且在事实准确性、逻辑一致性和偏差方面仍存在一些问题。Hugging Face建议用户将其作为辅助工具，并谨慎评估其输出内容，以避免潜在风险。

⚠️ **SmolLM2模型的局限性和使用建议:** 尽管SmolLM2在能力上有所提升，但仍存在一些不足之处。目前，SmolLM2模型只能理解和生成英文内容，这限制了其在多语言场景下的应用。此外，SmolLM2模型在事实准确性、逻辑一致性和偏差方面也存在一些问题，需要用户谨慎使用。Hugging Face建议用户将SmolLM2作为辅助工具，并仔细评估其输出内容，避免产生误导或错误信息。在使用SmolLM2时，用户应保持警惕，并对其输出结果进行必要的审查和验证。

Hugging Face上周公布可在手機上執行的最新一代語言模型SmolLM2家族。這是繼7月首次問世後，SmolLM家族最新版本，包括參數量135M、360M與1.7B三種規模，其中135M參數模型分成基礎及Instruct版，而360M與1.7B參數模型則分成基礎、Instruct及GGUF（GPT-Generated Unified Format）版，共11個模型，皆以Apache 2.0授權開源。135M、360M與1.7B都是以公開資料集和Hugging Face編排的資料集如FineWeb-Edu、DCLM和The Stack，以監督式微調（supervised fine-tuning）方法訓練，1.7B版本還多了些數學與程式碼資料集。資料集的量分別為2兆、4兆與11兆字詞。Hugging Face還應用直接偏好優化（Direct Preference Optimization，DPO）演算法來強化。三個規模的模型訓練的軟體架構皆是Transformer decoder，硬體架構而言，其中135M與360M模型執行於64顆H100的伺服器，而1.7B版本則為256顆H100的環境。一如第一代，SmolLM2也是可執行在裝置上的輕量級模型，但在指令遵從、知識與理解能力優於第一代。而拜Argilla的資料集如Synth-APIGen-v 0.1之賜，Instruct模型另外還支援改寫、重要摘要、與函式呼叫等任務。根據Hugging Face的數據，在多項標竿測試上，以SomlLM2-1.7B而言，不但優於第一代，也超過參數量更多的Llama-1B-Instruct及阿里巴巴的Qwen2.5-1.5B-Instruct。雖然能力更提升，但新一代SmolLM還是有些不足。目前SmolLM2模型只能理解和生成英文內容。此外也還存在事實準確性、邏輯一致性以及偏差等問題。Hugging Face建議使用者只能用於輔助工具，且應格外小心評估其產出內容。