Snowflake公司推出SwiftKV技术，旨在优化AI模型提示词处理，提升模型效率。该技术针对企业自定义长提示词的痛点，突破传统键值缓存压缩技术，并在推理过程中引入模型重组和知识保存自我蒸馏方法。实验表明，使用SwiftKV优化Llama 3.1模型后，吞吐量提升两倍，推理时间缩短50%，在代码补全和文本摘要等任务中表现出色。SwiftKV技术有望显著降低AI模型运算成本，提高实际应用效率。

💡SwiftKV技术核心在于优化AI模型处理提示词的效率，特别是针对企业用户自定义的长提示词，这些提示词通常是生成内容的十倍。

🚀该技术突破了传统的键值缓存压缩技术，并引入模型重组和知识保存自我蒸馏方法，从而大幅提升模型吞吐量，降低延迟和运算成本。

📊实验结果显示，使用SwiftKV技术优化Llama 3.1模型后，吞吐量可提升两倍，推理时间缩短50%，并在代码自动补全、文本摘要等任务中表现出色。

IT之家 1 月 17 日消息，研究公司 Snowflake 公布了一款名为“SwiftKV”的 AI 模型调校技术，并在 Hugging Face 开源三款利用“SwiftKV”技术进行调校的 Llama 3.1 AI 模型（点此访问）。

IT之家获悉，SwiftKV 技术的核心在于优化模型提示词处理过程。研究人员指出，通常情况下大模型最为消耗计算资源的环节在于处理用户为模型输入的提示词，而许多企业为模型自定义了极长的提示词，据称平均情况“大约是输出生成内容的 10 倍”。

据 Snowflake 介绍，这一“SwiftKV”模型调校技术专门为相应预制的提示词处理进行优化，号称突破了传统的键值（Key-Value，KV）缓存压缩技术，还在模型推理过程中引入模型重组与知识保存自我蒸馏方法，从而有效提升模型吞吐量、降低了延迟和运算成本，号称可以帮助 AI 模型显著缩短推理时间，可以降低模型 50% 推论时间。

实验结果表明，在利用 SwiftKV 技术优化 Llama 3.1 的 80 亿和 700 亿参数模型后，相应模型的整体吞吐量可提升两倍，同时相应模型也在代码自动补全、文本摘要等方面表现出色。