字节跳动边缘云 2025-06-03 10:53 重庆
相比起三方提供商模型，自部署模型拥有数据主权、高度定制化、稳定性等优势，适合对于隐私性、垂直场景适配度和长期可控性都要求很高的业务。
今天分享一个超简单、实用的教程，无需任何代码，只需简单 4 步，就能快速通过火山引擎边缘大模型网关调用自部署模型。通过大模型网关实现内网穿透，提供对外域名访问能力，同时对自部署模型轻松实现鉴权、限流、安全、监控等能力！
第一步：添加自部署模型
第一步是将自部署模型添加到边缘大模型网关，这里的“自部署模型”指的是在自己管控的算力环境中私有化部署的模型，一般通过内网或公网提供服务。如果还在探索如何进行模型的本地化部署，下面提供一个通过 Ollama 部署模型的教程。
Ollama 是一个专为本地部署和管理大型语言模型（LLM）设计的开源框架。以部署 Deepseek-R1 模型为例，从 Ollama 官网下载安装包，用 pull 命令从在线模型库中选择 Deepseek-R1 进行下载，这一步需要考虑模型量化文件大小及计算机运行内存。在模型下载完成后，通过 Ollama 直接留空进入对话模式，用斜杠引出命令，或使用 API 方式进行访问即可在本地运行 Deepseek-R1。
将本地部署的 Deepseek-R1 命名为“私有化 Deepseek-R1”，这就是一个部署且运行在本地的私有化大模型了，不仅无需网络即可运行，还可以通过上传本地数据，打造属于自己的“知识库”。如果想通过边缘大模型网关调用“私有化 Deepseek-R1”，并进行全链路的管控，应该怎么操作呢？第一步就是添加自部署模型，以下是详细步骤：
登录边缘大模型网关控制台（https://console.volcengine.com/vei/aigateway/overview），在左侧导航栏，选择模型配置管理>大模型管理。
在自有三方模型标签页，单击自部署模型标签，单击添加模型。
在添加模型对话框，完成以下参数配置：
模型名称：为模型设置一个显示名称。
调用名称：为模型设置一个标识符。只能使用字母、数字和下划线（_）。通过边缘大模型网关接口调用该模型时，模型调用请求中的 model 参数需传入您设置的模型标识符。
模型系列：选择模型所属系列。
提供商：仅支持自部署模型。
模型格式：仅支持 OpenAI。
模型类型：选择模型的类型。模型类型决定了模型的用量计量方式。您可以在类型选项上查看对应的计量方式（如 Chat 类型对应于 Token 用量）。支持多选，但只允许选择用量计量方式相同的多个类型。
对于仅支持内网访问的自部署模型，边缘大模型网关提供基于远程访问代理的内网穿透方案。您需要在本地或局域网内服务器上运行指定的代理工具（详见第二步），以将内网中的模型服务暴露给边缘大模型网关。
第二步：创建调用渠道
为使边缘大模型网关能够调用您的自部署模型，您需要提供模型的 API 密钥以建立调用渠道。有了 API 密钥，边缘大模型网关即可顺利访问并调用您的模型。
登录边缘大模型网关控制台，在左侧导航栏，选择模型配置管理>大模型管理。
在自有三方模型标签页，单击自部署模型标签，找到要使用的模型，单击创建调用渠道。
在创建调用渠道对话框，完成以下参数配置，单击确定。
渠道名称：为调用渠道设置一个显示名称。
模型调用密钥：输入您在部署模型时设置的密钥。
模型代理方式：选择一种访问代理模式。
本机服务代理：适用于模型服务部署在本地计算机，只支持内网访问。该模式表示通过代理本地模型服务实现内网穿透，使本地模型服务可通过边缘大模型网关的公网域名远程访问。若选择该模式，
需要设置本地端口号（指模型服务的端口）。
在调用渠道创建成功后，您还必须在本地计算机上运行指定的代理工具。
本地局域网服务代理：适用于模型服务部署在本地局域网内的某台服务器，只支持内网访问。该模式表示通过代理局域网内模型服务实现内网穿透，使局域网内模型服务可通过边缘大模型网关的公网域名远程访问。若选择该模式，
需要设置 IP 地址（指模型服务器的内网 IP 地址）和端口号（指模型服务的端口）。
在调用渠道创建成功后，您还必须在模型服务所在局域网内的任意一台服务器上运行指定的代理工具。
域名代理：适用于通过公网域名访问模型服务的情形。若选择该模式，
需要设置公网域名。公网域名必须是 OpenAI 兼容的 base url，例如 https://ark.cn-beijing.volces.com/api/v3。
在自部署模型列表，调用渠道数字表示一个自部署模型下已创建的调用渠道的数量。以上操作完成后，相应自部署模型的调用渠道数量会增加。您可以单击调用渠道数字，查看和管理（如编辑、删除）自部署模型下已添加的调用渠道。
安装代理工具（适用于本机服务代理或本地局域网代理模式）
如果调用渠道中的模型代理方式是本机服务代理或本地局域网代理，您必须在调用渠道创建成功后安装代理工具，否则边缘大模型网关无法访问您的模型。
本机服务代理模式（参照以下步骤在本地计算机上安装并运行代理工具）：
单击调用渠道数字。
在调用渠道面板，单击本机服务代理页签。
找到调用渠道，单击操作列的获取代理工具。
在弹出的获取代理工具提示框，单击复制。
在本地计算机上打开命令行工具，运行复制的命令。
本地局域网服务代理模式（参照以下步骤在模型服务所在局域网内的任意一台服务器上安装并运行代理工具）：
单击调用渠道数字。
在调用渠道面板，单击本地局域网服务代理页签。
找到调用渠道，单击操作列的获取代理工具。
在弹出的获取代理工具提示框，单击复制。
在局域网内任意一台服务器上打开命令行工具，运行复制的命令。
第三步：绑定调用渠道到网关访问密钥
要访问边缘大模型网关 API，您需要一个网关访问密钥。通过将您的模型调用渠道绑定到一个网关访问密钥，您就可以在使用此网关访问密钥时，选择指定模型作为被调用对象。您可以在创建网关访问密钥时绑定调用渠道，也可以编辑已有网关访问密钥来绑定新的调用渠道。
登录边缘大模型网关控制台。
在左侧导航栏，选择模型配置管理>大模型管理。
在自有三方模型标签页，单击自部署模型标签，然后找到要使用的模型，单击操作列的创建网关访问密钥。
第四步：使用网关访问密钥
当您的网关访问密钥绑定了自部署模型调用渠道，您在获取此网关访问密钥对应的示例代码时，就可以选择指定模型作为被调用对象。将示例代码集成到您的业务逻辑后，您的边缘大模型网关请求将触发指定模型调用。
END
火山引擎边缘大模型网关采用基于远程访问代理的内网穿透方案，解决自部署模型公网访问难题。您只需在本地或局域网服务器上运行指定的代理工具，即可将自部署模型的访问请求转发至边缘大模型网关的公网域名，实现安全、便捷的远程访问。此外，边缘大模型网关还提供完善的鉴权、限流、安全防护和监控等功能，帮助您全面、精细地管理大模型应用落地，助力大模型应用的全生命周期管理。
点击阅读原文，登录边缘大模型网关控制台，4步调用自部署模型，快来试试吧~
