让开发者用得起、用得好「长文本」大模型，这项新技术功不可没

Kimi 大模型 2024-07-02 18:59 北京

「上下文缓存」正式启动公测

本周，我们正式开始公测新技术——上下文缓存（Context Caching），该技术在 API 价格不变的前提下，可为开发者降低最高 90% 的长文本旗舰大模型使用成本，并且显著提升模型的响应速度。

上下文缓存（Context Caching）是最受开发者关注的技术之一。这项技术可以在很大程度上，帮助开发者解决用不起长文本旗舰大模型的痛点。据我们了解，Kimi 开放平台是国内率先面向开发者提供上下文缓存 API 的大模型平台。

「上下文缓存」基本原理

上下文缓存（Context Caching）是一种高效的数据管理技术，它允许系统预先存储那些可能会被频繁请求的大量数据或信息。这样，当您再次请求相同信息时，系统可以直接从缓存中快速提供，而无需重新计算或从原始数据源中检索，从而节省时间和资源。

「上下文缓存」应用效果

上下文缓存（Context Caching）特别适合用于频繁请求，重复引用大量初始上下文的场景，可以显著降低长文本模型费用并提高效率！

「用得起」：费用最高降低 90 %

场景举例：需要对固定文档大量提问的场景。某硬件产品说明书大概 9万字，换算 Tokens 长度大概 64K，该产品售前支持人员需要在 10 分钟内，密集对产品的功能/使用方式进行 40 次问答，每次的问题大概 100 个字，要求模型的输出需要基于产品说明书来回答，回答问题在 120 字以内。

原始花费：按照大模型问答的 Tokens 计算逻辑，售前支持人员需要每次向模型输入的 Tokens =文档 Tokens +问题 Tokens，10 分钟内 40 次的问答共计需要消耗 Tokens 2.56 M，128k 模型价格为 60元/M，预计需花费 153.84 元。

若该场景接入上下文缓存（Context Caching）：9万字的文档只收取一次创建 Cache 和存储 10 分钟 Cache 的费用，10分钟内的40次提问，将只收取问题的 100 字+ 回答的 120 字的费用，预计花费 11.88 元，

预计节省 141.95 元，费用降低约 90%

「用得好」：首 Token 延迟降低 83%

以 128k 模型的一次 4w 字（30k tokens）的推理请求为例，通常向模型提问，平均要 30s 返回首 Token。接入 Context Caching 后，如下图，最快可 1s 内完成首 Token 返回。

经过大量测试，接入上下文缓存（Context Caching）功能，128K 的请求，首 Token 延迟平均可降至 5s 内，首 Token 延迟降低 83%左右！

以上应用效果，基于 1 token = 1～1.5个文字和字符，128k 模型进行测算。具体的效果根据您的业务情况/模型选择不同，会有略微的差别。

快速开始

使用上下文缓存（Context Caching）时，您首先需要通过 API 创建缓存，指定要存储的数据类型和内容，然后设置一个合适的过期时间以保持数据的时效性。一旦缓存创建完成，任何对该数据的请求都会首先检查缓存，如果缓存有效，就直接使用，否则需要重新生成并更新缓存。这种方法特别适用于需要处理大量重复请求的应用程序，可以显著提高响应速度和系统性能。

以下示例分创建 Cache 和使用 Cache 两个步骤来介绍：

创建 Cache

from openai import OpenAIimport requestsimport jsonclient = OpenAI( api_key = "$MOONSHOT_API_KEY", base_url = "https://api.moonshot.cn/v1",)res = requests.post( url = "https://api.moonshot.cn/v1/caching", headers = { "Authorization": "Bearer $MOONSHOT_API_KEY" }, json = { "model": "moonshot-v1", "messages": [ { "role": "system", "content": "你是 Kimi，由 Moonshot AI 提供的人工智能助手，你更擅长中文和英文的对话。你会为用户提供安全，有帮助，准确的回答。同时，你会拒绝一切涉及恐怖主义，种族歧视，黄色暴力等问题的回答。Moonshot AI 为专有名词，不可翻译成其他语言。" }, ], "tools": [{ "type": "function", "function": { "name": "CodeRunner", "description": "代码执行器，支持运行 python 和 javascript 代码", "parameters": { "properties": { "language": { "type": "string", "enum": ["python", "javascript"] }, "code": { "type": "string", "description": "代码写在这里" } }, "type": "object" } } }], "name": "CodeRunner", "ttl": 3600 })print(json.loads(res.text))

运行上述代码，返回：

{'id': 'cache-essqmysd6h1111dauub1', 'object': 'context_cache_object', 'model': 'moonshot-v1', 'messages': [{'role': 'system', 'content': '你是 Kimi，由 Moonshot AI 提供的人工智能助手，你更擅长中文和英文的对话。你会为用户提供安全，有帮助，准确的回答。同时，你会拒绝一切涉及恐怖主义，种族歧视，黄色暴力等问题的回答。Moonshot AI 为专有名词，不可翻译成其他语言。'}], 'tools': [{'function': {'name': 'CodeRunner', 'description': '代码执行器，支持运行 python 和 javascript 代码', 'parameters': {'properties': {'code': {'description': '代码写在这里', 'type': 'string'}, 'language': {'enum': ['python', 'javascript'], 'type': 'string'}}, 'type': 'object'}}, 'type': 'function'}], 'name': 'CodeRunner', 'description': '', 'metadata': None, 'expired_at': 1718847499, 'status': 'pending', 'tokens': 72}

使用 Cache

你可以直接使用 role="cache" 来引用一段已经创建好的 cache，需要注意的是当 cache 处在非 active 状态下时，默认情况下调用依然会成功，但此时并不会触发对应的优化，如希望避免这种情况，可以在参数列表中设置 dry_run=1。

from openai import OpenAI
client = OpenAI(    api_key = "$MOONSHOT_API_KEY",    base_url = "https://api.moonshot.cn/v1",)
completion = client.chat.completions.create(    model="moonshot-v1-8k",    messages=[          {            "role": "cache",            "content": "cache_id=cache-essqmysd6h1111dauub1;reset_ttl=3600",        },        {            "role": "user",            "content": "编程判断 3214567 是否是素数。",        },    ],    temperature=0.3,)
print(completion.choices[0].message)

运行上述代码，返回：

ChatCompletionMessage(content='判断一个数是否是素数，我们可以使用一个简单的算法：检查从2到该数的平方根之间的所有整数是否能整除该数。如果有一个能整除，那么这个数就不是素数。如果没有任何数能整除它，那么它就是素数。\n\n对于给定的数3214567，我们可以编写一个程序来实现这个算法。下面是一个使用Python语言的示例代码：\n\n```python\nimport math\n\ndef is_prime(number):\n    if number <= 1:\n        return False\n    for i in range(2, int(math.sqrt(number)) + 1):\n        if number % i == 0:\n            return False\n    return True\n\nnumber_to_check = 3214567\nprint(is_prime(number_to_check))\n```\n\n这段代码定义了一个函数`is_prime`，它接受一个整数作为参数，并返回一个布尔值，表示这个数是否是素数。然后，我们使用这个函数来检查3214567是否是素数。', role='assistant', function_call=None, tool_calls=[ChatCompletionMessageToolCall(id='CodeRunner:0', function=Function(arguments='{\n    "code": "import math\\n\\ndef is_prime(number):\\n    if number <= 1:\\n        return False\\n    for i in range(2, int(math.sqrt(number)) + 1):\\n        if number % i == 0:\\n            return False\\n    return True\\n\\nnumber_to_check = 3214567\\nis_prime(number_to_check)"\n}', name='CodeRunner'), type='function', index=0)])

以上是 python 示例，其他代码示例请见：上下文缓存接入指南