掘金 人工智能 05月15日 15:23
在 Centos7 环境部署 MaxKB 以及 Ollama 实现基于离线大模型的的小助手调用
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文分享了在Linux环境下离线部署MaxKB和Ollama的实践过程,针对Docker镜像拉取超时问题,选择了离线部署方案。详细介绍了MaxKB的离线安装步骤,以及Ollama的安装、状态查看和API配置过程。特别强调了解决MaxKB配置Ollama API域名无效问题的关键步骤,包括修改Ollama的配置文件,使其监听0.0.0.0地址,并测试API的可访问性。最后,作者提到了未配置独显的局限性,并鼓励读者交流讨论。

📦 离线部署MaxKB:由于Docker镜像拉取超时,选择离线部署MaxKB。首先下载离线安装包,通过`tar -zxvf`解压,然后进入解压后的目录,执行`bash install.sh`进行安装。

🐳 Ollama的安装与状态查看:使用`curl -fsSL https://ollama.com/install.sh | sh`命令安装Ollama。安装完成后,可以使用`ollama list`查看已下载的模型,`ollama -v`查看版本,`systemctl status ollama`查看运行状态。

🌐 解决Ollama API域名无效问题:在MaxKB配置Ollama API时,如果出现域名无效,需要修改`/etc/systemd/system/ollama.service`文件,将`Environment`改为`OLLAMA_HOST=0.0.0.0`,重启Ollama服务,并测试API可访问性。

💡 API配置与测试:修改Ollama配置文件后,重启服务,然后在MaxKB的Docker容器中,使用`curl`命令测试Ollama API是否可以访问。确认API正常运行后,将正确的IP地址配置到MaxKB的API域名中。

选择离线部署的原因:原计划是打算直接使用 1Panel 进行 MaxKB 和 Ollama 一键部署的,但是两者都会出现 Docker 远程拉取镜像超时的问题,于是选择了离线部署。

一、MaxKB 的离线部署

先下载对应的 MaxKB 离线安装包 :community.fit2cloud.com/#/products/…

将安装包上传到机器上后 执行以下命令进行安装包的解压和安装

# 解压tar -zxvf maxkb-v1.2.0-offline.tar.gz# 进入安装包解压缩后目录 cd maxkb-v1.2.0-offline# 执行安装命令即可 bash install.sh

参考网址 :maxkb.cn/docs/instal…

ps 也可运行以下命令可以成功拉取镜像并运行容器

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb

二、部署 Ollama

执行命令

curl -fsSL https://ollama.com/install.sh | sh

参考 : github.com/ollama/olla… (上面提供各类操作系统的安装指导)

执行成功后会出现以下图样:

其中红框显示的是当前部署的 Ollama 的 API 调用地址

可以执行一下命令查看 Ollama 当前的状态

#安装好后查看当前 Ollama 下拥有的模型(由于当前还没有拉取,所以目录为空)[root@iZ7xvigag1tcx13yaa7cmhZ opt]# ollama listNAME    ID      SIZE    MODIFIED #查看当前 Ollama 的版本[root@iZ7xvigag1tcx13yaa7cmhZ opt]# ollama -vOllama version is 0.3.3#Ollama 的运行状态[root@iZ7xvigag1tcx13yaa7cmhZ opt]# systemctl status ollama ollama.service - Ollama ServiceLoaded: loaded (/etc/systemd/system/ollama.service; enabled; vendor preset: disabled)Active: active (running) since Sun 2024-08-04 01:02:47 CST; 36min agoMain PID: 14453 (ollama)Tasks: 10Memory: 999.3M

最后将 Ollama 的 API 调用地址填写到MaxKB的配置 Ollama 模型 API 域名的位置

这里要特别注意:
如果直接填写上图中的 127.0.0.1 的路径,点击添加会出现 API 域名无效的提示,以下是当时遇到该问题的解决过程:

先验证当前 OllamaAPI 是可以访问的[root@iZ7xvigag1tcx13yaa7cmhZ opt]# curl http://127.0.0.1:11434/Ollama is running然后进入 /etc/systemd/system 目录 修改 ollama.service 文件[root@iZ7xvigag1tcx13yaa7cmhZ opt]# cd /etc/systemd/system/将其中的 Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin"改为 Environment="OLLAMA_HOST=0.0.0.0"修改其监听地址为 0.0.0.0#重启加载配置文件及重启 Ollama[root@iZ7xvigag1tcx13yaa7cmhZ system]# sudo systemctl daemon-reload[root@iZ7xvigag1tcx13yaa7cmhZ system]# sudo systemctl restart ollama#进入 MaxKB 的 Docker 容器中测试是否可以根据该地址访问到 Ollama[root@iZ7xvigag1tcx13yaa7cmhZ system]# docker exec -it maxkb bashroot@f5be799b5776:/opt/maxkb/app# curl http://ip:11434/ (这里的 IP 是本机对应的ip地址,可以通过命令 ip addr 查询)Ollama is runningroot@f5be799b5776:/opt/maxkb/app# 出现 Ollama is running 即可然后将该地址配置到 API 域名上即可

解决方法参考:bbs.fit2cloud.com/t/topic/416… (在 MaxKB 论坛中发现)

由于本次部署仅尝试整个部署流程,未配置独显,所以大部分独显的大模型是无法运行的。机器配置为 2C4G,有问题或者疑问欢迎一起讨论~

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

MaxKB Ollama 离线部署 Docker API配置
相关文章