36kr 8小时前
仅0.27B参数,谷歌开源史上最小Gemma 3,手机能跑,25次对话耗电不到1%
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

谷歌近期推出了其有史以来最小的开源模型Gemma 3 270M,拥有2.7亿参数。该模型专为特定任务微调设计,在指令跟踪和文本处理方面表现出色,甚至在某些基准测试中超越了更大尺寸的模型。Gemma 3 270M的轻量化和高能效特性使其非常适合离线和网页应用,例如驱动睡前故事生成器。其核心优势包括轻量强大的架构、极致的能效(在Pixel 9 Pro上仅消耗0.75%电量)、出色的指令遵循能力以及可生产的量化支持,为资源受限设备上的AI应用提供了新的可能,打破了“参数规模决定性能”的固有认知。

💡 **轻量且强大的架构:** Gemma 3 270M拥有2.7亿参数,其中嵌入参数占1.7亿,Transformer模块占1亿。得益于256k的庞大词汇量,该模型能有效处理特定和稀有的token,非常适合在特定领域和语言中进行微调,成为一个优质的基础模型。

⚡️ **极致的能效表现:** 该模型在功耗方面表现突出,在Pixel 9 Pro SoC上的内部测试显示,INT4量化模型在25次对话中仅消耗0.75%的电量,是谷歌迄今为止最节能的Gemma模型,极大地扩展了其在移动和边缘设备的适用性。

📜 **出色的指令遵循能力:** Gemma 3 270M同步发布了指令微调版本,虽然不专门为复杂对话设计,但其基础指令遵循能力“开箱即用”,能够有效响应通用指令,为快速部署应用提供了便利。

📦 **可生产的量化支持:** 模型提供了量化感知训练(QAT)检查点,支持以INT4精度运行,且性能损失极小。这对于在手机、边缘设备等资源受限的环境中部署AI模型至关重要,大大降低了硬件要求和运行成本。

🎯 **适用场景广泛:** 对于需要高容量、定义明确任务,同时注重成本效益、快速迭代部署或隐私保护的用户而言,Gemma 3 270M是一个理想选择,尤其适合需要精简、快速且低运行成本的生产系统。

智东西8月15日消息,今天,谷歌推出史上最小Gemma 3开源模型,一个拥有2.7亿个参数的轻量级模型,底层设计以特定任务微调为目标,具备强大的指令跟踪和文本能力。 

在指令执行能力测试中,如IFEval基准测试所示,Gemma 3 270M超越了尺寸更大的Qwen2.5 0.5B Instruct,与Llama 3.2 1B能力比肩。 

Gemma 3 270M在一些特定任务上能达到甚至超越大模型的能力。该模型的尺寸和性能使其非常适合离线、基于网页的创意任务。比如谷歌公布了一个案例,其用Gemma 3 270M驱动一款使用Transformers.js的睡前故事生成器网页应用,通过简单的勾选就可以生成精彩的睡前故事。 

Gemma 3 270M的核心能力如下: 

1、轻量而强大的架构。该模型共有2.7亿个参数,由于词汇量庞大,嵌入参数有1.7亿个,Transformer模块参数有1亿个。得益于256k个token的庞大词汇量,该模型能够处理特定和稀有的token,使其成为可在特定领域和语言中进一步微调的优质基础模型。 

2、极致能效。 该模型的一大优势在于低功耗,其在Pixel 9 Pro SoC上进行的内部测试表明,INT4量化模型在25次对话中仅消耗0.75%的电量,使其成为谷歌最节能的Gemma模型。 

3、指令遵循。该模型同步发布了指令微调版本与预训练检查点(checkpoint)。虽然该模型并非为复杂的对话用例而设计,但其基础指令遵循能力出色,可 “开箱即用” 地响应通用指令。 

4、可用于生产的量化。模型提供量化感知训练(Quantization-Aware Trained, QAT)检查点,支持以INT4精度运行,且性能损失极小,这对于在资源受限设备(如手机、边缘设备)上部署至关重要。 

换句话说,如果用户有一个高容量、定义明确的任务,在成本上需要精打细算,又需要快速迭代和部署,或是有保护隐私的需求,他都适合选择Gemma 3 270M。 

Hugging Face地址: https://huggingface.co/collections/google/gemma-3-release-67c6c6f89c4f76621268bb6d 

结语:轻量化模型释放端侧智能

此前,谷歌Gemma开源模型加速迭代:先是适用于单云和桌面加速器的Gemma 3和Gemma 3 QAT发布,随后是将强大实时多模态AI直接引入边缘设备的Gemma 3n推出,本次Gemma 3 270M的推出填补了轻量模型版块。 

轻量化模型正在打破参数迷信。大模型领域长期存在 “参数规模决定性能” 的固有认知,Gemma 3 270M展现出小模型遵循指令的能力以及微调后的威力。从轻量而强大的模型入手,用户可以构建精简、快速且运行成本显著降低的生产系统。 

本文来自微信公众号 “智东西”(ID:zhidxcom),作者:李水青,36氪经授权发布。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Gemma 3 270M 谷歌 开源模型 端侧智能 轻量化AI
相关文章