本地玩转 DeepSeek 和 Qwen 最新开源版本（入门+进阶）

望宸&刘军 2025-01-29 14:09 辽宁

如何基于开源工具部署大模型、构建测试应用、调用大模型能力的完整链路。

今年的春节注定不寻常，开源大模型领域的“国货之光”们接连发布新版本，多项指标对标 OpenAI 的正式版（收费服务）。

业内开始出现一种声音，开源 LLM 不再仅仅是闭源模型的追随者，而是开始主导 AI 发展的方向，而 DeepSeek 和 Qwen 是目前领跑的开源项目。本文将介绍如何基于开源工具部署大模型、构建测试应用、调用大模型能力的完整链路。

一、为什么选择 PC 或手机在本地部署？

模型计算发生在电脑或手机上，免除算力费用API 调用发生在本地网络内，免除 Token 调用费用敏感数据，无需离开本地环境适合个人开发者体验。二、为什么要选择 DeepSeek R1 蒸馏版？

由于本地设备的限制，只能运行小杯型的版本，Qwen 提供了全尺寸的版本。DeepSeek R1 开源协议明确可“模型蒸馏”(Distill)，且提供了基于 Qwen 的蒸馏版本，可以直接下载使用。
三、本地部署 DeepSeek 蒸馏版和 Qwen2.5安装 Ollama，选择杯型，运行 DeepSeek

# 安装Ollamacurl -fsSL https://ollama.com/install.sh | sh
# 运行DeepSeek蒸馏模型ollama run deepseek-r1:7b

Ollama 已支持 DeepSeek R1 和 Qwen2.5，其中 Qwen2.5-Max 因今天刚发布，待 Ollama 支持。四、Spring AI Alibaba 创建应用，调用服务使用 Spring AI Alibaba 开发应用与使用普通 Spring Boot 没有什么区别，只需要增加 spring-ai-alibaba-starter 依赖，将 ChatClientBean 注入就可以实现与模型聊天了。在项目中加入 spring-ai-alibaba-starter 依赖，由于模型是通过 ollama 运行的，这里我们也加入 spring-ai-ollama-spring-boot-starter 依赖。

<dependency>  <groupId>com.alibaba.cloud.ai</groupId>  <artifactId>spring-ai-alibaba-starter</artifactId>  <version>1.0.0-M5.1</version></dependency><dependency>  <groupId>org.springframework.ai</groupId>  <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>  <version>1.0.0-M5</version></dependency>

注意：由于 spring-ai 相关依赖包还没有发布到中央仓库，如出现 spring-ai-core 等相关依赖解析问题，请在您项目的 pom.xml 依赖中加入如下仓库配置。

<repositories>  <repository>    <id>spring-milestones</id>    <name>Spring Milestones</name>    <url>https://repo.spring.io/milestone</url>    <snapshots>      <enabled>false</enabled>    </snapshots>  </repository></repositories>

注入 ChatClient：

@RestControllerpublic class ChatController {
  private final ChatClient chatClient;
  public ChatController(ChatClient.Builder builder) {    this.chatClient = builder.build();  }
  @GetMapping("/chat")  public String chat(String input) {    return this.chatClient.prompt()        .user(input)        .call()        .content();  }}

配置模型地址，在 application.properties 中配置模型的 url：

‍

spring.ai.ollama.base-url=http://localhost:11434spring.ai.ollama.chat.model=deepseek-r1:7b示例完整源码可参考：https://github.com/springaialibaba/spring-ai-alibaba-examples/tree/main/spring-ai-alibaba-chat-example/ollama-chat/ollama-chat-client

五、进阶玩法：生产环境通过将本地验证的模型纳入企业级技术体系，才能真正释放大模型的商业价值，但同时需要满足严苛的生产环境要求。接下来，我们从流量的管理和安全防护的视角，来看看如何提升 AI 应用的稳定性。Higress 是一款云原生 API 网关，内核基于 Istio 和 Envoy，并基于生产业务需求做了增强，可用于部署 Web 类应用和大模型应用，在 AI 领域，已经支撑了通义千问 APP、百炼大模型 API、机器学习 PAI 平台、FastGPT、中华财险等 AI 业务。[6]Higress 支持一行命令安装：

curl -sS  https://higress.cn/ai-gateway/install.sh | bash

执行完命令后可以通过命令行初始化配置，可以看到，Higress 的 AI 网关能力支持对接国内外所有主流 LLM 模型供应商：

也可以选择跳过这个步骤，到 Higress 的控制台进行配置对应供应商的 API Key：配置后，就可以直接使用了。下方是调用 OpenAI 的客户端，然后通过 Higress 路由到其他模型，例如 DeepSeek 和 Qwen。

import jsonfrom openai import OpenAI
client = OpenAI(    api_key=xxxxx, # 👉 可以通过Higress生成消费者Key实现API key的二次分租    base_url="http://127.0.0.1:8080/v1")
completion = client.chat.completions.create(    # model="qwen-max",    # model="gemini-1.5-pro",    model="deepseek-chat", # 👉 可以填写任意模型名称，Higress根据模型名称路由到对应供应商    messages=[        {"role": "user", "content": "你好"}    ],    stream=True)
for chunk in completion:    print(chunk.choices[0].delta)

如果您正在使用 Spring AI Alibaba 开发应用，只需要配置 OpenAI 相关依赖与参数，ChatClient 就会通过Higress 代理与后端模型交互：

<dependency>  <groupId>org.springframework.ai</groupId>  <artifactId>spring-ai-openai-spring-boot-starter</artifactId>  <version>1.0.0-M5</version></dependency>

spring.ai.openai.base-url=http://127.0.0.1:8080/v1spring.ai.openai.chat.model=deepseek-chatspring.ai.openai.chat.api-key=xxxxx, # 👉 可以通过Higress生成消费者Key实现API key的二次分租

然后，在监控面板看到每个模型，以及每个消费者的 token 消耗情况以及调用延时：

此外，Higress 还提供了很多实用的功能，例如：

API Key 治理：

消费者管理

兜底模型：

模型灰度：

Higress 的插件市场里还有很多开箱即用的插件，例如提示词模版，AI 缓存，数据脱敏，内容安全等等。

插件代码也都是开源的，并且支持自己开发插件，支持在网关上热装载，对流量完全无损。这对于 RealTime API 等实时会话的场景十分友好，不会断开长连接。以上是本地部署 DeepSeek 和 Qwen 的实践，如果您希望通过云端方式进行部署，可以参考魔搭+函数计算 FC。技术支持：Spring AI Alibaba 钉群群号：105120009405；

Higress 钉群群号：107690002780参考文档：[1] https://github.com/deepseek-ai/DeepSeek-R1[2] https://qwenlm.github.io/blog/qwen2.5-vl/[3] https://github.com/deepseek-ai/Janus?tab=readme-ov-file[4] https://qwenlm.github.io/blog/qwen2.5-1m[5] https://qwenlm.github.io/zh/blog/qwen2.5-max/[6] https://github.com/alibaba/higress

阅读原文

跳转微信打开

Fish AI Reader

FishAI

联系邮箱 441953276@qq.com

相关标签