Hugging Face推出适用于轻量级设备的“SmolLM”小语言模型家族，包含1.35亿、3.6亿及17亿参数模型，优化了RAM用量，可在6GB RAM的iPhone 15上运行。模型训练使用了包含Python教学、Web教育内容及常识内容的SmolLM-Corpus数据集，总量达6000亿token。基准测试显示，SmolLM在多项测试中超越同类模型。

🚀 Hugging Face的SmolLM小模型家族，包括1.35亿、3.6亿及17亿参数的语言模型，旨在为手机等轻量级设备提供高效性能。这些模型通过优化内存使用，实现了在6GB RAM的iPhone 15上的流畅运行，大大拓宽了移动设备上的AI应用可能性。

📚 SmolLM模型的训练基于一个精心策划的数据集——SmolLM-Corpus，该数据集融合了Python教学材料、Web教育资源以及由大型模型生成的常识内容，总计6000亿token。这种多元化的训练数据确保了模型在理解和生成文本方面的广泛能力。

🏆 在与其他相同参数量模型的基准测试中，SmolLM表现出色。SmolLM-135M在多项测试中超越了其他小于2亿参数的模型；SmolLM-360M在小于5亿参数的模型中表现优异，尽管在某些项目上略逊于Meta的MobileLLM-350M；而SmolLM-1.7B则超越了所有小于20亿参数的模型，显示了其卓越的性能。

IT之家 7 月 20 日消息，如今小语言模型开始升温，许多厂商开始推出适用于手机等轻量级设备的“小模型”，本周 Hugging Face 便公布了“SmolLM”小语言模型家族，其中包含 1.35 亿、3.6 亿及 17 亿参数模型，IT之家附项目如下（点此访问）。

据介绍，这些模型号称是以精心策划的高质量训练数据集训练而成，号称在 Python 程序编写性能上相当强大，团队指出他们重点优化了模型所需的 RAM 用量，“即使是在 6GB RAM 的 iPhone 15 上也能运行”。

在训练方面，Hugging Face 团队首先建立了一款名为 SmolLM-Corpus 的数据集（数据集地址点此访问），该数据集主要包含 Python 教学内容 Python-Edu、Web 教育内容 FineWeb-Edu 以及使用 Mixtral-8x7B-Instruct-v0.1 和 Cosmopedia v2 两款模型生成的常识内容，token 量总计 6000 亿。此后 Hugging Face 团队便使用 SmolLM-Corpus 数据集训练了“SmolLM”小语言模型。

Hugging Face 团队将开发出的 SmolLM 模型与相同参数量的其他模型进行了基准测试，其中 SmolLM-135M 在多项测试中超越了小于 2 亿参数的其他模型；而 SmolLM-360M 的测试成绩优于所有小于 5 亿参数以下的模型，不过某些项目逊于 Meta 刚刚公布的 MobileLLM-350M；SmolLM-1.7B 模型则超越了所有参数量小于 20 亿参数的模型，包括微软 Phi-1.5、MobileLLM-1.5B 及 Qwen2。