官网:ollama.com/
一、Windows安装、MacOS安装:
1、打开官网下载安装包,下载页面:ollama.com/download
2、和常规应用安装一样:Windows一步步安装即可,MacOS双击安装包拖拽到应用目录即可
二、Linux安装:
方式一:按官网方式安装:curl -fsSL <https://ollama.com/install.sh> | sh
方式二:官网方式安装下载很慢,容易超时失败,修改官网安装脚本的下载地址进行安装。
下载安装脚本,保存到ollama_install.sh中:curl -fsSL <https://ollama.com/install.sh> > ollama_install.sh
到github找到对应系统最新版本的.tgz包,复制下载地址,github发布包地址:github.com/ollama/olla… (执行 uname -m
查看系统类型:x86_64 为 amd64,aarch64或arm64 为 arm64)
编辑ollama_install.sh脚本:vim ollama_install.sh
,找到下载地址“ollama.com/download/ol…{VER_PARAM}”修改为github的下载地址。
从github下载也慢可以使用github加速代理,如:gh.llkk.cc/ ,即修改下载地址为:gh.llkk.cc/https://git…
修改完成后保存,执行脚本进行安装:sh ollama_install.sh
,等待下载安装即可。
方式三:在线安装不行可使用离线安装。
本地下载好对应系统的安装包,拷贝到服务器安装脚本所在目录。
编辑ollama_install.sh脚本:vim ollama_install.sh
,注释掉脚本里下载并解压的命令:curl ... | $SUDO tar -xzf - -C "$OLLAMA_INSTALL_DIR"
在注释调的行下面加一行解压本地下载好拷贝过来的安装包命令:$SUDO tar -xzf ./ollama-linux-arm64.tgz -C "$OLLAMA_INSTALL_DIR"
修改完成后保存,执行脚本进行安装:sh ollama_install.sh
,等待下载安装即可。
三、配置ollama(不配置则使用默认配置启动):
Windows:添加环境变量
Linux:vim ~/.bashrc
MacOS:vim ~/.bash_profile
# 设置模型存放目录export OLLAMA_MODELS=/home/ai/models# 设置模型局域网访问,默认只能本机访问export OLLAMA_HOST=0.0.0.0
四、运行ollama:
Windows:双击应用图标运行
MacOS和Linux:ollama serve &
运行Ollama,以Linux为例
root@ubuntu:~# ollama serve &[1] 3372078root@ubuntu:~# 2025/04/14 11:22:43 routes.go:1215: INFO server config env="map[CUDA_VISIBLE_DEVICES: GPU_DEVICE_ORDINAL: HIP_VISIBLE_DEVICES: HSA_OVERRIDE_GFX_VERSION: HTTPS_PROXY: HTTP_PROXY: NO_PROXY: OLLAMA_CONTEXT_LENGTH:2048 OLLAMA_DEBUG:false OLLAMA_FLASH_ATTENTION:false OLLAMA_GPU_OVERHEAD:0 OLLAMA_HOST:http://0.0.0.0:11434 OLLAMA_INTEL_GPU:false OLLAMA_KEEP_ALIVE:5m0s OLLAMA_KV_CACHE_TYPE: OLLAMA_LLM_LIBRARY: OLLAMA_LOAD_TIMEOUT:5m0s OLLAMA_MAX_LOADED_MODELS:0 OLLAMA_MAX_QUEUE:512 OLLAMA_MODELS:/home/ai/models OLLAMA_MULTIUSER_CACHE:false OLLAMA_NEW_ENGINE:false OLLAMA_NOHISTORY:false OLLAMA_NOPRUNE:false OLLAMA_NUM_PARALLEL:0 OLLAMA_ORIGINS:[http://localhost https://localhost http://localhost:* https://localhost:* http://127.0.0.1 https://127.0.0.1 http://127.0.0.1:* https://127.0.0.1:* http://0.0.0.0 https://0.0.0.0 http://0.0.0.0:* https://0.0.0.0:* app://* file://* tauri://* vscode-webview://* vscode-file://*] OLLAMA_SCHED_SPREAD:false ROCR_VISIBLE_DEVICES: http_proxy: https_proxy: no_proxy:]"time=2025-04-14T11:22:43.887+08:00 level=INFO source=images.go:432 msg="total blobs: 12"time=2025-04-14T11:22:43.888+08:00 level=INFO source=images.go:439 msg="total unused blobs removed: 0"time=2025-04-14T11:22:43.907+08:00 level=INFO source=routes.go:1277 msg="Listening on [::]:11434 (version 0.5.13)"time=2025-04-14T11:22:43.927+08:00 level=INFO source=gpu.go:217 msg="looking for compatible GPUs"time=2025-04-14T11:22:44.025+08:00 level=INFO source=gpu.go:612 msg="Unable to load cudart library /usr/lib/x86_64-linux-gnu/libcuda.so.450.248.02: symbol lookup for cuCtxCreate_v3 failed: /usr/lib/x86_64-linux-gnu/libcuda.so.450.248.02: undefined symbol: cuCtxCreate_v3"time=2025-04-14T11:22:44.241+08:00 level=INFO source=gpu.go:377 msg="no compatible GPUs were discovered"time=2025-04-14T11:22:44.249+08:00 level=INFO source=types.go:130 msg="inference compute" id=0 library=cpu variant="" compute="" driver=0.0 name="" total="15.6 GiB" available="11.8 GiB"
运行命令:curl http://127.0.0.1:11434/ ,或浏览器访问:http://127.0.0.1:11434/ ,正常输出:Ollama is running
五、使用ollama:
命令行使用:Ollama提供简单易用的命令行工具,Windows、MacOS、Linux都可使用命令行操作。
常用命令:
已有模型:ollama list
下载模型:ollama pull 模型名称
,如deepseek-r1:7b
运行模型:ollama run 模型名称
,如deepseek-r1:7b
模型进程:ollama ps
使用Ollama,以Linux为例
root@ubuntu:~# ollama helpLarge language model runner Usage: ollama [flags] ollama [command] Available Commands: serve Start ollama # 启动服务 create Create a model from a Modelfile # 创建自定义模型 show Show information for a model # 显示模型详情 run Run a model # 运行模型 stop Stop a running model # 停止模型 pull Pull a model from a registry # 下载模型 push Push a model to a registry # 推送模型 list List models # 本地模型列表 ps List running models # 已运行的模型列表 cp Copy a model # 复制模型 rm Remove a model # 移除本地模型 help Help about any command # 使用帮助 Flags: -h, --help help for ollama # 帮助 -v, --version Show version information # 查看Ollama版本 Use "ollama [command] --help" for more information about a command. root@ubuntu:~# ollama list[GIN] 2025/04/14 - 11:23:01 | 200 | 14.464898ms | 127.0.0.1 | HEAD "/"[GIN] 2025/04/14 - 11:23:01 | 200 | 37.580948ms | 127.0.0.1 | GET "/api/tags"NAME ID SIZE MODIFIED bge-m3:567m-fp16 790764642607 1.2 GB 5 weeks ago quentinz/bge-large-zh-v1.5:f32 dc5d6ead7fe3 1.3 GB 5 weeks ago deepseek-r1:7b 0a8c26691023 4.7 GB 5 weeks ago root@ubuntu:~# ollama run deepseek-r1:7b# ……省略日志信息⠋ time=2025-04-14T11:24:48.511+08:00 level=INFO source=server.go:596 msg="llama runner started in 28.00 seconds"[GIN] 2025/04/14 - 11:24:48 | 200 | 28.082109074s | 127.0.0.1 | POST "/api/generate">>> 你好,请介绍一下自己<think>您好!我是由中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-R1。如您有任何任何问题,我会尽我所能为您提供帮助。</think>您好!我是由中国的深度求索(DeepSeek)公司开发的智能助手DeepSeek-R1。如您有任何任何问题,我会尽我所能为您提供帮助。[GIN] 2025/04/14 - 11:25:21 | 200 | 11.693759391s | 127.0.0.1 | POST "/api/chat" >>> Send a message (/? for help)
其他工具对接:对接前需要完成上面Ollama的OLLAMA_HOST配置,以确保局域网内能访问。