Snowflake开源了基于SwiftKV技术强化的Llama 3.1模型，该技术通过改进键值（KV）缓存压缩，显著缩短大型语言模型的推理时间，最高可达50%。SwiftKV采用模型重组和知识保留自蒸馏方法，有效提升吞吐量，降低延迟和计算成本。它引入SingleInputKV技术，利用模型层输出的相对稳定性，允许部分Transformer层跳过计算，从而降低计算量并保持模型准确性。实验表明，SwiftKV在Llama 3.1模型上表现出色，尤其适用于处理大量长输入的场景，如代码完成、文本摘要等。

🚀SwiftKV技术通过优化KV缓存压缩，大幅提升Llama 3.1模型的推理速度，最高可达50%。

💡SingleInputKV技术是SwiftKV的核心，它利用模型层输出的稳定性，允许部分Transformer层跳过计算，降低计算量的同时保持模型准确性。

📈实验结果显示，SwiftKV在Llama 3.1 80亿和700亿参数模型上均有出色表现，特别是在高负载批处理和实时交互场景中，吞吐量和延迟都得到了显著改善。

💰SwiftKV的开源不仅包含推理模型检查点，还提供了知识蒸馏工作管线，为企业部署大型语言模型应用提供了更高效且经济的解决方案。

Snowflake宣布開源一系列基於SwiftKV技術強化的Llama 3.1模型，這項創新技術能大幅縮短大型語言模型的推論時間，最高可達50%。SwiftKV不僅突破了傳統的鍵值（Key-Value，KV）快取壓縮技術，更針對模型推論階段的計算瓶頸進行全面改進。通過結合模型重組與知識保存自我蒸餾的方法，SwiftKV有效提升吞吐量、降低延遲與運算成本，為企業部署大型語言模型應用提供更高效且經濟的解決方案。SwiftKV的重點在於改進輸入提示的處理過程，研究人員提到，這是企業大型語言模型應用中計算資源消耗的主要來源。在大型語言模型推論過程中，模型會生成大量用於注意力計算的KV快取，這些快取包含關鍵資訊（Key）和相關資料（Value），幫助模型在輸入與輸出之間建立關聯。Snowflake的研究顯示，多數企業工作負載的輸入提示長度約為輸出生成內容的10倍，而現有的KV快取壓縮方法無法有效解決這部分的計算需求。為此，SwiftKV引入了SingleInputKV技術，利用模型層輸出的相對穩定性，允許部分Transformer層跳過計算，直接生成後續所需的KV快取。這一技術不僅大幅降低計算量，還保持了模型的整體準確性，經測試平均僅損失約1％的準確性。實驗結果顯示，SwiftKV在Llama 3.1 80億參數和700億參數模型上表現出色。對於高負載批次處理使用案例，SwiftKV可將總吞吐量提升至基準模型的2倍，而在即時互動使用案例中，則顯著降低了首字元生成延遲（TTFT）與後續生成時間（TPOT）。這種效能提升對需要處理大量長輸入的應用場景，如程式碼完成、文本摘要和檢索增強生成等應用特別適合。此次開源還包含SwiftKV的推論模型檢查點與知識蒸餾工作管線。Snowflake表示，未來將繼續改進相關工具，進一步降低大型語言模型的運算成本與資源需求。對於企業來說，SwiftKV可在不犧牲效能的前提下，大幅提升生成式人工智慧應用的經濟效益。