谷歌近期发布了其最新的小体量语言模型Gemma 3 270M，该模型拥有2.7亿参数，专为特定任务的微调而设计，在指令跟踪和文本结构化方面表现出色。Gemma 3 270M继承了Gemma 3系列的先进架构，并展现出强大的指令执行能力。其紧凑的架构、极低的能耗（INT4量化模型仅消耗0.75%电量）、出色的指令遵循能力以及可用于生产的量化技术，使其成为在设备端和资源受限环境中部署AI功能的理想选择。该模型适用于高容量、定义明确的任务，以及对时延和用户隐私有严格要求的场景，为开发者提供了快速迭代和部署的便利，并已在多语言内容审核等实际应用中展现出超越大型模型的潜力。

🧩 **紧凑且强大的架构**：Gemma 3 270M拥有2.7亿参数，其中嵌入参数1.7亿，Transformer模块1亿。其256k token的庞大词汇量使其能够处理特定和罕见的token，为特定领域和语言的微调奠定了坚实基础。

⚡️ **极致节能与高效**：该模型在Pixel 9 Pro手机SoC上的测试显示，INT4量化模型在25次对话中仅消耗0.75%电量，是Gemma系列中最节能的模型，非常适合在能耗受限的设备上运行。

🎯 **优异的指令遵循能力**：谷歌提供了附带预训练检查点的指令调整模型，Gemma 3 270M能够开箱即用地遵循通用指令，即使非为复杂对话设计，其强大的指令执行能力也使其在多种应用场景下表现出色。

📊 **生产级量化支持**：模型提供量化感知训练（QAT）检查点，允许以INT4精度运行模型，同时最大程度地减少性能损失，这对于在资源受限的设备上部署至关重要。

🚀 **专业化应用潜力**：Gemma 3 270M是构建小型专业化模型的理想起点，能够为情绪分析、实体提取、创意写作等定义明确的任务释放更高效率，并已在实际案例中展现出超越大型专有模型的性能，同时支持开发者快速迭代和部署。

下载下来只有 241 MB。

本周四，谷歌正式发布了 Gemma 3 的最新一款模型。

Gemma 3 270M 是一款紧凑型、拥有 2.7 亿个参数的小体量语言模型，专为特定任务的微调而设计，具备强大的指令跟踪和文本结构化能力。

它继承了 Gemma 3 系列的先进架构和强大的预训练功能，同时为小尺寸模型带来了强大的指令执行能力。谷歌展示的 IFEval 基准测试成绩所示，在同级模型上，Gemma 3 270M 树立了新的性能水平，使复杂的 AI 功能更容易应用于设备端和研究应用。

IFEval 旨在测试模型执行可验证指令的能力。

Gemma 3 270M 的核心功能主要包括如下几个方面：

紧凑而强大的架构：新模型共有 2.7 亿参数：由于词汇量庞大，嵌入参数有 1.7 亿个，Transformer 模块则有 1 亿个。得益于 256k 个 token 的庞大词汇量，该模型可以处理特定和罕见的 token，使其成为强大的基础模型，可以在特定领域和语言中进一步进行微调。 极致节能：Gemma 3 270M 的一个关键优势是其低功耗。在 Pixel 9 Pro 手机 SoC 上进行的内部测试表明，INT4 量化模型在 25 次对话中仅消耗 0.75% 的电量，使其成为最节能的 Gemma 模型。 指令遵循：谷歌发布了一个指令调整模型，并附带预训练的检查点。虽然该模型并非为复杂的对话用例而设计，但它是一个强大的模型，可以开箱即用地遵循通用指令。 可用于生产的量化：量化感知训练 (QAT) 检查点可用，使人们能够以 INT4 精度运行模型，同时最大程度地减少性能下降，这对于在资源受限的设备上部署至关重要。

对于 1.7 亿个嵌入参数，如何在训练过程中保证不出现嵌入崩溃，谷歌并没有对技术细节进行太多解释。不过在谷歌发布后，AI 社区很快开始了研究。

Sebastian Raschka 第一时间进行了简单的解读，他注意到了新模型的一些架构特点。

谷歌表示，Gemma 3 270M 是一款高质量的基础模型，开箱即用，适用于专业化的任务。在实践中，人们应从紧凑而强大的模型入手，进而构建出精简、快速且运营成本较低的生产系统。

这种思路已在现实世界中取得了很好的成果。谷歌举了 Adaptive ML 与 SK Telecom 合作的成果的例子。面对细致入微的多语言内容审核挑战，他们选择了专业化。Adaptive ML 没有使用大规模通用模型，而是对 Gemma 3 4B 模型进行了微调。从结果上看，专业化的 Gemma 模型达到甚至超越了更大型专有模型在其特定任务上的表现。

Gemma 3 270M 旨在让开发者更进一步利用这种方法，为定义明确的任务释放更高的效率。它是创建一系列小型专业模型的理想起点，每个模型都是各自任务的专家。

这种专业化的力量不仅适用于企业任务，还能帮助个人开发者构建创意应用程序。例如，Hugging Face 团队的成员使用 Gemma 3 270M 为一款使用 Transformers.js 的睡前故事生成器网页应用提供支持。可知，该模型的体量和性能使其非常适合离线、基于网页的创意任务。

谷歌表示，Gemma 3 270M 适用于以下场景：

有一个高容量且定义明确的任务。该模型非常适合情绪分析、实体提取、查询路由、非结构化到结构化文本处理、创意写作和合规性检查等功能。 需要精打细算，时延要求高的任务。它可以大幅降低甚至消除生产中的推理成本，并更快地为用户提供响应。经过微调的 270M 模型可以在轻量级的基础架构上运行，也可以直接在设备上运行。 需要快速迭代和部署的工作。Gemma 3 270M 的小巧体积使其能够快速进行微调实验，帮助你在数小时内（而不是数天）找到适合您用例的完美配置。 需要确保用户隐私的任务。由于该模型可以完全在设备上运行，你可以构建处理敏感信息的应用程序，而无需将数据发送到云端。 你需要一批专门的任务模型。构建并部署多个自定义模型，每个模型都经过专业训练，能够完成不同的任务，而且不会超出预算。

在新模型上，谷歌提供了快速入门的方案和工具。你可以在 Gemma 文档中找到使用 Gemma 3 270M 进行完整微调的指南：https://ai.google.dev/gemma/docs/core/huggingface_text_full_finetune

谷歌同时发布了 Gemma 3 270M 的预训练模型和指令调优模型：https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d

你可以在 Vertex AI 上试用模型，或使用 llama.cpp、Gemma.cpp、LiteRT、Keras 和 MLX 等热门推理工具进行试用：https://console.cloud.google.com/vertex-ai/publishers/google/model-garden/gemma3

现在，你也可以在 Colab 上尝试自行尝试微调，只需不到 5 分钟即可完成。

过去几个月，谷歌的 Gemma 开放模型系列经历了一系列发布。在 4 月到 5 月，谷歌推出了 Gemma 3 和 Gemma 3 QAT，为单云和桌面级 GPU 提供了不错的 AI 性能。随后在 6 月 25 日，面向移动端的 Gemma 3n 正式发布，为手机等设备引入了强大的实时多模态 AI 能力。

谷歌表示，截止上周，Gemma 系列的累积下载量已经突破了两亿次。

参考内容：

https://developers.googleblog.com/en/introducing-gemma-3-270m/

本文来自微信公众号“机器之心”，36氪经授权发布。