边缘云技术团队 2025-02-17 18:03 重庆

火山引擎边缘大模型网关支持 5 家DeepSeek模型提供商，通过支持多厂商服务调用，实现调用故障自动迁移，保障 DeepSeek 模型的稳定调用，为智能服务保驾护航！

01 背景

随着 DeepSeek 大模型在文本生成、代码解析、逻辑推理等领域展现出的突破性能力，这场由国产 AI 模型引发的技术革新正持续发酵。火山方舟、阿里百炼、腾讯云 LKE 等越来越多的平台通过接入 DeepSeek 向终端用户提供大模型调用服务。伴随持续飙升的热度，服务器繁忙、调用超时、调用失败等问题频繁出现，DeepSeek 调用稳定性成为了困扰终端用户的新问题。

如何能够不宕机地使用 DeepSeek 大模型？火山引擎边缘大模型网关通过支持多厂商服务调用，实现了调用故障自动迁移，保障 DeepSeek 模型的稳定调用，为智能服务保驾护航。

边缘大模型网关能够帮助您通过一个 API 接口访问多家模型提供商接入的 DeepSeek 模型服务，在端侧基于遍布全球的边缘节点就近调用，利用边缘云基础架构优势，提高模型访问速度，并通过配置调用顺序、自动重试、请求超时等能力，实现模型调用失败自动请求备用模型、单次请求失败自动重试、单次调用响应超时配置。通过产品化的配置，您可以迅速创建出与 OpenAI 的 API 和 SDK 完全兼容的网关访问密钥（API），并通过选配 DeepSeek 模型进行调用，节省大量适配成本，快速完成业务接入。

02 5家模型提供商，助力多渠道接入

截止日前，边缘大模型网关已经支持火山方舟、DeepSeek 开放平台、硅基流动 SiliconCloud、腾讯云大模型知识引擎 LKE、阿里云 DashScope 模型服务灵积共计 5 家 AI 服务平台，累计 8 种面向不同场景的 DeepSeek 系列模型接入。

您可以使用边缘大模型网关的自有三方模型调用功能，通过创建调用渠道将您在第三方模型平台的密钥纳管至边缘大模型网关，实现通过边缘大模型网关签发网关访问密钥进行对应模型的访问与调用。同时，边缘大模型网关也通过平台预置模型助力您直接使用由火山方舟提供的 DeepSeek R1、DeepSeek V3、DeepSeek-R1-Distill-Qwen-7B/32B 模型调用，无需与三方模型提供商交互，使用更便捷。

结合您的业务场景选择 DeepSeek 服务提供商，在边缘大模型网关产品控制台创建网关访问密钥并关联您选配的服务提供商，即可在不同厂商间实现服务容灾，并通过配置多尺寸模型实现小尺寸模型无感降级，最大化保障模型调用效果的同时实现终端业务的服务稳定。

03 如何实现不宕机的 DeepSeek 模型调用

Step 1 选择模型服务提供商

您可以在边缘大模型网关产品控制台上创建网关访问密钥用于调用 AI 服务。您可以为您的网关访问密钥配置用于 DeepSeek 调用的模型提供商，创建完成后，即可获得大模型网关 OpenAPI 的请求示例代码与 API Key，并对选配的 DeepSeek 模型发起请求。

边缘大模型网关已经完成火山方舟、DeepSeek 开放平台、硅基流动 SiliconCloud、腾讯云大模型知识引擎 LKE、阿里云 DashScope 模型服务灵积共计 5 家服务提供商接入，您可以通过“支持模型”查看该提供商可通过边缘大模型网关进行调用的模型列表。

使用大模型网关调用自有三方模型，您必须在大模型网关通过创建渠道配置您在第三方平台 AI 服务平台中的调用密钥，不同模型提供商平台获取方式可能存在不同，查看详情可复制链接在浏览器打开，（https://www.volcengine.com/docs/6893/1337145）。大模型网关通过您配置的调用渠道来访问您的第三方模型，完成渠道创建后，即可调用对应渠道商下的 DeepSeek 系列模型。

同时，您也可以通过边缘大模型网关的平台预置模型实现由火山方舟提供的 DeepSeek 模型一键调用，无需与三方模型提供商进行交互或创建调用渠道，您可直接用于通过网关访问密钥的模型配置与调用。

Step 2 创建网关访问密钥

完成用于边缘大模型网关调用的模型配置后，您可以开始为您的业务场景创建 DeepSeek 调用的网关访问密钥（API）。

模型选配

在创建网关访问密钥的第一步，您首先需要选择可通过该网关访问密钥进行调用的 DeepSeek 模型，您可以通过勾选来自多个提供商的 DeepSeek 模型轻松在多厂商间实现故障迁移，您也可以通过配置不同尺寸的蒸馏版本模型，实现降级备用，增加稳定保障。

调用配置

完成模型选择后，您可以通过手动调整上一步所选模型的顺序实现不同厂商、不同尺寸的服务调用故障无感转移。根据您所配置的顺序，前一个模型调用失败后，边缘大模型网关将自动依次调用后续模型，直到成功调用一个模型。如您想保证 DeepSeek-R1 的成功调用，可以通过配置来自不同提供商的 R1 模型来实现多厂商轮询。如您需要在资源受限的场景下进行调用，可以通过配置由字节跳动火山方舟与阿里云 DashScope 模型服务灵积提供的小尺寸蒸馏模型，通过降级备用保证最优效果。

结合重试次数配置，您可以设置对一个模型进行调用的最大重试次数。当一个模型调用失败后，大模型网关将重新尝试调用此模型，直到重试次数耗尽，才会基于您配置的调用顺序调用下一个模型。

通过启用缓存，边缘大模型网关会就近将调用结果返回并缓存在边缘节点，从而缩短重复查询的响应时间并为您降低调用成本。可设置缓存的保留时长，一旦超过指定时长，缓存将被清除。通过定义请求超时时间，您可以设置单次模型调用的超时时长，模型请求发出后，若在超时时长内未收到响应，则判定该请求失败。当您调用支持深度思考（Reasoning）的 DeepSeek 模型时，请根据使用场景判断是否需要适当延长请求超时定义。

Step 3 调用 DeepSeek 模型！

您可以在网关访问密钥列表中查看已完成创建的信息，并在详情页面查看基本信息、用量统计、请求方式等信息。

通过详情页调用示例，您可以获得由边缘大模型网关提供的请求示例代码，包含 Curl 和 Python。当您从网关访问密钥绑定的模型中选择一个模型作为首次请求模型后，代码中的model参数值将自动替换成模型对应的值。如果网关访问密钥绑定了多个同一类型的模型，那么当选择一个模型后，可以通过单击右侧的图标查看模型故障转移的预览效果。当前模型调用失败时，大模型网关将依次调用后续的模型。在调用时，您需要将详情页-请求方式中的密钥替换示例代码中的$VEI_API_KEY。