LM Studio

小众软件 2024年08月27日

LM Studio – 有电脑就能用，傻瓜、一站式部署本地大语言模型｜然后，像 ChatGPT 那样提问

../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

LM Studio 是一款将主流大模型 LLM 元素打包在一起的工具，让用户在本地电脑上轻松运行大语言模型，使用体验类似 ChatGPT。它支持 Windows、macOS 和 Linux 系统，用户只需选择模型并下载，即可开始提问并获得 AI 回答。LM Studio 还支持 OpenAI 类的服务器，用户可以在自己的服务器上使用 LLM，就像使用 OpenAI API 一样。

😄 **本地运行大语言模型：** LM Studio 使得用户能够在自己的电脑上运行本地大语言模型，无需依赖云服务，提供更高的隐私和安全性。用户只需选择模型并下载，即可开始使用，操作简单便捷。

😊 **支持主流模型：** LM Studio 支持多种主流大语言模型，例如 Meta-Llama-3.1-8B-Instruct-GGUF 等，用户可以根据自己的需求选择合适的模型。

😎 **自定义模型路径：** LM Studio 允许用户自定义模型保存路径，方便管理和使用不同的模型。用户需要使用 ${Publisher}/${Repository}/${ModelFile} 这样的路径结构来组织模型文件。

😁 **本地 LLM 服务器：** LM Studio 支持 OpenAI 类的服务器，用户可以在自己的服务器上使用 LLM，就像使用 OpenAI API 一样，可以构建自己的 AI 应用和服务。

😉 **多种功能：** LM Studio 还提供其他功能，例如支持 CPU 和 GPU 加速，以及使用 OpenAI API 等，为用户提供更丰富的功能选择。

LM Studio 是一款将目前主流大模型 LLM 元素打包在一起的工具，可以让你在自己的电脑上，“0门槛”运行本地大语言模型 LLM，并且用起来就像 ChatGPT 那样。支持 Windows、macOS、Linux。@Appinn

傻瓜、一站式部署本地大语言模型，大概就是打开电脑 > 双击运行程序 > 开始提问 > 获得 AI 回答这样三步走。

我觉得 LM Studio 就是这样的软件，它长这样：

你唯一需要操心的事情，就是挑选模型，然后下载使用，就好了。

不过整个软件的难点也在这里，因为…目前的主流模型托管网站 huggingface 它不能访问

于是，用镜像也不是不行。

下载模型

直接在目前可用的镜像网站 HF-Mirror 搜索你需要的模型，比如 Meta-Llama-3.1-8B-Instruct-GGUF，然后找到对应的 Files 页面，挑选你需要的模型，点击那个下载按钮

最终，你将得到一个类似 Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf 的文件，很大，一般都好几个 GB。

安装模型

LM Studio 默认的模型保存路径在 C:\Users\appinn.cache\lm-studio\models，可以更换：

不过这里注意，你需要使用 ${Publisher}/${Repository}/${ModelFile}这样的路径结构，如上图第二个红色框框，需要将手动下载的 .gguf 模型文件保存在路径的两级文件夹下才能正确识别。

然后，就能提问了。会自动使用你的 CPU、GPU…

本地 LLM 服务器

LM Studio 也支持 OpenAI 类的服务器，即可以在第三方服务器上使用这个 LLM，就像使用 OpenAI API 一样，只不过这里的 API 服务器是你自己的。

和 OpenAI 一样，使用过 /v1/chat/completions 、 /v1/completions 、 /v1/embeddings 即可。

获取

官网

原文：https://www.appinn.com/lm-studio/

LM Studio

下载模型

安装模型

本地 LLM 服务器

获取

相关阅读

Fish AI Reader

FishAI

联系邮箱 441953276@qq.com

相关标签