掘金 人工智能 10小时前
Ollama部署安装及使用
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文详细介绍了Ollama的安装和使用方法,涵盖了Windows、MacOS和Linux三大操作系统。用户可以按照官网步骤或修改安装脚本的方式进行安装,并配置环境变量以优化使用体验。文章还提供了运行Ollama服务、下载模型、以及通过命令行与模型交互的详细步骤,方便用户在本地运行大语言模型,并提供了与其他工具对接的指导。

💻 Windows、MacOS安装:Windows用户可直接下载安装包安装,MacOS用户则将安装包拖拽至应用目录即可完成安装。

🐧 Linux安装:提供了通过官网脚本安装、修改安装脚本下载地址以加速安装,以及离线安装的多种方式,满足不同网络环境下的需求。

⚙️ 配置Ollama:介绍了在Windows、Linux和MacOS上配置环境变量的方法,包括设置模型存放目录和局域网访问权限,以实现个性化设置。

🚀 运行与使用:详细介绍了如何在不同操作系统上运行Ollama服务,以及使用命令行工具进行模型下载、运行和交互的步骤。

🔗 其他工具对接:强调了在进行工具对接前,需要配置OLLAMA_HOST环境变量,确保局域网内可访问,方便用户扩展应用场景。

官网:ollama.com/

一、Windows安装、MacOS安装:

1、打开官网下载安装包,下载页面:ollama.com/download
2、和常规应用安装一样:Windows一步步安装即可,MacOS双击安装包拖拽到应用目录即可

二、Linux安装:

方式一:按官网方式安装:curl -fsSL <https://ollama.com/install.sh> | sh

方式二:官网方式安装下载很慢,容易超时失败,修改官网安装脚本的下载地址进行安装。

    下载安装脚本,保存到ollama_install.sh中:curl -fsSL <https://ollama.com/install.sh> > ollama_install.sh

    到github找到对应系统最新版本的.tgz包,复制下载地址,github发布包地址:github.com/ollama/olla… (执行 uname -m 查看系统类型:x86_64 为 amd64,aarch64或arm64 为 arm64)

    编辑ollama_install.sh脚本:vim ollama_install.sh,找到下载地址“ollama.com/download/ol…ARCH.tgz{ARCH}.tgz{VER_PARAM}”修改为github的下载地址。

    从github下载也慢可以使用github加速代理,如:gh.llkk.cc/ ,即修改下载地址为:gh.llkk.cc/https://git…

    修改完成后保存,执行脚本进行安装:sh ollama_install.sh,等待下载安装即可。

方式三:在线安装不行可使用离线安装。

    本地下载好对应系统的安装包,拷贝到服务器安装脚本所在目录。

    编辑ollama_install.sh脚本:vim ollama_install.sh,注释掉脚本里下载并解压的命令:curl ... | $SUDO tar -xzf - -C "$OLLAMA_INSTALL_DIR"

    在注释调的行下面加一行解压本地下载好拷贝过来的安装包命令:$SUDO tar -xzf ./ollama-linux-arm64.tgz -C "$OLLAMA_INSTALL_DIR"

    修改完成后保存,执行脚本进行安装:sh ollama_install.sh,等待下载安装即可。

三、配置ollama(不配置则使用默认配置启动):

Windows:添加环境变量

Linux:vim ~/.bashrc

MacOS:vim ~/.bash_profile

# 设置模型存放目录export OLLAMA_MODELS=/home/ai/models# 设置模型局域网访问,默认只能本机访问export OLLAMA_HOST=0.0.0.0

四、运行ollama:

Windows:双击应用图标运行

MacOS和Linux:ollama serve &

运行Ollama,以Linux为例

root@ubuntu:~# ollama serve &[1] 3372078root@ubuntu:~# 2025/04/14 11:22:43 routes.go:1215: INFO server config env="map[CUDA_VISIBLE_DEVICES: GPU_DEVICE_ORDINAL: HIP_VISIBLE_DEVICES: HSA_OVERRIDE_GFX_VERSION: HTTPS_PROXY: HTTP_PROXY: NO_PROXY: OLLAMA_CONTEXT_LENGTH:2048 OLLAMA_DEBUG:false OLLAMA_FLASH_ATTENTION:false OLLAMA_GPU_OVERHEAD:0 OLLAMA_HOST:http://0.0.0.0:11434 OLLAMA_INTEL_GPU:false OLLAMA_KEEP_ALIVE:5m0s OLLAMA_KV_CACHE_TYPE: OLLAMA_LLM_LIBRARY: OLLAMA_LOAD_TIMEOUT:5m0s OLLAMA_MAX_LOADED_MODELS:0 OLLAMA_MAX_QUEUE:512 OLLAMA_MODELS:/home/ai/models OLLAMA_MULTIUSER_CACHE:false OLLAMA_NEW_ENGINE:false OLLAMA_NOHISTORY:false OLLAMA_NOPRUNE:false OLLAMA_NUM_PARALLEL:0 OLLAMA_ORIGINS:[http://localhost https://localhost http://localhost:* https://localhost:* http://127.0.0.1 https://127.0.0.1 http://127.0.0.1:* https://127.0.0.1:* http://0.0.0.0 https://0.0.0.0 http://0.0.0.0:* https://0.0.0.0:* app://* file://* tauri://* vscode-webview://* vscode-file://*] OLLAMA_SCHED_SPREAD:false ROCR_VISIBLE_DEVICES: http_proxy: https_proxy: no_proxy:]"time=2025-04-14T11:22:43.887+08:00 level=INFO source=images.go:432 msg="total blobs: 12"time=2025-04-14T11:22:43.888+08:00 level=INFO source=images.go:439 msg="total unused blobs removed: 0"time=2025-04-14T11:22:43.907+08:00 level=INFO source=routes.go:1277 msg="Listening on [::]:11434 (version 0.5.13)"time=2025-04-14T11:22:43.927+08:00 level=INFO source=gpu.go:217 msg="looking for compatible GPUs"time=2025-04-14T11:22:44.025+08:00 level=INFO source=gpu.go:612 msg="Unable to load cudart library /usr/lib/x86_64-linux-gnu/libcuda.so.450.248.02: symbol lookup for cuCtxCreate_v3 failed: /usr/lib/x86_64-linux-gnu/libcuda.so.450.248.02: undefined symbol: cuCtxCreate_v3"time=2025-04-14T11:22:44.241+08:00 level=INFO source=gpu.go:377 msg="no compatible GPUs were discovered"time=2025-04-14T11:22:44.249+08:00 level=INFO source=types.go:130 msg="inference compute" id=0 library=cpu variant="" compute="" driver=0.0 name="" total="15.6 GiB" available="11.8 GiB"

运行命令:curl http://127.0.0.1:11434/  ,或浏览器访问:http://127.0.0.1:11434/ ,正常输出:Ollama is running

五、使用ollama:

命令行使用:Ollama提供简单易用的命令行工具,Windows、MacOS、Linux都可使用命令行操作。

常用命令:

已有模型:ollama list
下载模型:ollama pull 模型名称,如deepseek-r1:7b
运行模型:ollama run 模型名称,如deepseek-r1:7b
模型进程:ollama ps

使用Ollama,以Linux为例

root@ubuntu:~# ollama helpLarge language model runner Usage:  ollama [flags]  ollama [command] Available Commands:  serve       Start ollama # 启动服务  create      Create a model from a Modelfile # 创建自定义模型  show        Show information for a model # 显示模型详情  run         Run a model # 运行模型  stop        Stop a running model # 停止模型  pull        Pull a model from a registry # 下载模型  push        Push a model to a registry # 推送模型  list        List models # 本地模型列表  ps          List running models # 已运行的模型列表  cp          Copy a model # 复制模型  rm          Remove a model # 移除本地模型  help        Help about any command # 使用帮助 Flags:  -h, --help      help for ollama # 帮助  -v, --version   Show version information # 查看Ollama版本 Use "ollama [command] --help" for more information about a command. root@ubuntu:~# ollama list[GIN] 2025/04/14 - 11:23:01 | 200 |   14.464898ms |       127.0.0.1 | HEAD     "/"[GIN] 2025/04/14 - 11:23:01 | 200 |   37.580948ms |       127.0.0.1 | GET      "/api/tags"NAME                              ID              SIZE      MODIFIED   bge-m3:567m-fp16                  790764642607    1.2 GB    5 weeks ago   quentinz/bge-large-zh-v1.5:f32    dc5d6ead7fe3    1.3 GB    5 weeks ago   deepseek-r1:7b                    0a8c26691023    4.7 GB    5 weeks ago    root@ubuntu:~# ollama run deepseek-r1:7b# ……省略日志信息⠋ time=2025-04-14T11:24:48.511+08:00 level=INFO source=server.go:596 msg="llama runner started in 28.00 seconds"[GIN] 2025/04/14 - 11:24:48 | 200 | 28.082109074s |       127.0.0.1 | POST     "/api/generate">>> 你好,请介绍一下自己<think>您好!我是由中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-R1。如您有任何任何问题,我会尽我所能为您提供帮助。</think>您好!我是由中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-R1。如您有任何任何问题,我会尽我所能为您提供帮助。[GIN] 2025/04/14 - 11:25:21 | 200 | 11.693759391s |       127.0.0.1 | POST     "/api/chat" >>> Send a message (/? for help)

其他工具对接:对接前需要完成上面Ollama的OLLAMA_HOST配置,以确保局域网内能访问。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Ollama 大语言模型 安装 使用 本地运行
相关文章