AI学习篇一、通过ollama本地部署deepseek

通过ollama本地部署deepseek

1、环境

硬件环境

[root@meter home]# free -g               total        used        free      shared  buff/cache   availableMem:             62          16          29           0          17          45Swap:            31           0          31[root@meter home]#     [root@meter home]# df -hFilesystem                     Size  Used Avail Use% Mounted ondevtmpfs                        32G     0   32G   0% /devtmpfs                           32G     0   32G   0% /dev/shmtmpfs                           32G   27M   32G   1% /runtmpfs                           32G     0   32G   0% /sys/fs/cgroup/dev/mapper/centos_meter-root   50G   45G  5.8G  89% //dev/sda1                     1014M  149M  866M  15% /boot/dev/mapper/centos_meter-home  430G   27G  404G   7% /home

环境准备,找了几台服务器，这个配置还可以，就用这个了

软件环境

电脑需提前搭建好docker环境

2、安装 ollama

ollama官网：

中文：ollama.readthedocs.io/quickstart/

英文：ollama.com/search

2.1 安装

我这里安装是用docker的方式进行安装的，安装命令

这个命令是官网给的安装命令，但是拉不下来

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

所以我这边参考的这个网站：docker.aityp.com/image/docke…

docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/ollama/ollama:0.7.1-rc0

安装完成后运行容器

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama cfd4c6a03879

2.2 验证

[root@meter ~]# curl 127.0.0.1:11434Ollama is running[root@meter ~]#

至此表示ollama安装成功

3、安装模型

3.1、选择模型

我们打开ollama的英文网站，点击models，这里我就以下载ds为例说明

继续点进去会看看到一个安装命令

3.2 安装模型

进入容器内部

docker exec -it ollama bash

查看版本

root@a7857766141c:/# ollama -v ollama version is 0.7.1-rc0

这里我们只是再次确认是否安装成功，至此可以运行上面的安装命令

ollama run deepseek-r1:1.5b

我这里是已经安装了1.5b的，我重新安装一个7b的

安装完成后

root@a7857766141c:/# ollama listNAME                ID              SIZE      MODIFIED      deepseek-r1:7b      755ced02ce7b    4.7 GB    2 minutes ago    deepseek-r1:1.5b    e0979632db5a    1.1 GB    3 hours ago

4、安装可视化端

4.1 安装

这里官网提供了许多的web端，我们选择第一个即可

点进去，使用下面的这个安装命令（因为我这里是把ollama和open-webui安装到了一个机器上）

完整安装命令

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main