掘金 人工智能 前天 12:53
零基础搭建本地私人心理医生AI:大模型部署与训练全流程实录
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文分享了在个人笔记本电脑上部署和训练大模型,构建私人心理医生的实践过程。作者详细介绍了从环境配置、模型选择、部署,到使用LoRA进行微调训练,以及模型合并和测试的完整流程。通过与GPT的互动,逐步解决了技术难题,最终在本地成功运行了定制的心理医生模型,并分析了后续优化方向。

💻 **环境配置与模型选择:** 作者使用13th Gen Intel i7笔记本,在GPT的建议下,选择了Qwen1.5-1.8B模型,并采用LM Studio进行本地部署,为后续训练奠定了基础。

⚙️ **LoRA微调训练:** 采用LoRA技术对Qwen1.5-1.8B模型进行微调,通过准备心理对话数据集、运行训练脚本,逐步提升模型对心理咨询的理解和应答能力。虽然笔记本无独立显卡,仍成功完成了训练过程。

🔄 **模型合并与GGUF格式转换:** 将训练好的LoRA权重与基础模型合并,并转换为GGUF格式,以便在LM Studio中使用。这一步确保了训练成果能够被实际应用和测试。

✅ **效果评估与后续改进:** 通过对比训练前后模型的表现,验证了训练的有效性。文章指出了后续改进的关键方向,包括更强大的硬件、更强的模型以及更丰富的心理咨询语料。

免责声明:

本文内容仅供技术交流和学习参考,不能替代专业心理医生的诊断和治疗。

1、简介

本文只是以私人心理医生的切入点, 探讨大模型的本地部署和训练。

由于我也不是很熟悉这个流程, 我们先分析技术可行性吧。

2、可行性分析

大家都知道,像 ChatGPT。 DeepSeek, Claude-3.7 都需要特别强的设备 和 显卡 才能进行部署训练。 我手里这台笔记本在技术上可以跑的起来嘛?

从上图可以看出我本地的硬件为:

我们将这个电脑的配置发送给GPT,咨询一下GPT这台设备。能否完成此项任务, 应该选择跑那个模型。

输入提示词prompt:

你好, 我想通过大模型训练一个私人心理医生。我的本地机器配置是, 处理器是 13th Gen Intel(R) Core(TM) i7-1355U , 内存是 32GB, 固态硬盘容量为 1TB, 无独立显卡,应该是集成显卡。 麻烦你帮我看看我这个机器配置 可以部署大模型完成这项工作嘛?

GPT的回复是可以的, 并推荐 Qwen1.5-1.8B/4B 这个模型。 那我们的后续的工作就围绕这个模型展开。

目前本地部署大模型有两种方式, 分别为 LM Studio 和 Ollama。作为初学者, 我们选择使用 简单的 LM Studio 来部署。

3、本地部署模型

接下来让我们在本地部署 配置模型

3.1 下载并安装 LM Studio

打开官网:lmstudio.ai

点击下载按钮,获取 Windows 安装包并安装。

安装后打开 LM Studio,界面如下(分为左侧菜单和右侧模型控制区)。

3.2 下载 Qwen1.5 模型

    点击左侧菜单:ModelsDownload models

    在搜索框输入:

    Qwen1.5-1.8B-Chat-GGUF

    找到由 Qwen 官方发布的版本(gguf 格式),选择如下版本下载:

      推荐量化格式q4_0.ggufq4_K_M.gguf下载文件大小:约 2–4GB,适合你的内存

    等待模型下载完成,LM Studio 会自动识别并加载。

3.3、运行模型进行聊天

3.4 配置大模型

1、设置心理医生人格(Prompt)

让我们通过GPT来编写 Prompt:

你是一位温柔、专业、值得信赖的心理咨询师。你受过系统的心理学培训,擅长倾听、共情、引导来访者表达真实情感,并帮助他们厘清困扰、找到方向。你的任务是为用户提供心理支持与情绪疏导,避免做出任何医学诊断或具体处方建议。你在对话中应注意以下行为准则:1. **共情而非评判**:你会尊重用户的情感,不否定、不批评,引导他们更深入地理解自己。2. **开放式提问**:鼓励用户思考自己的行为、情绪、动机,而不是直接给出建议。3. **语言风格温和、支持性强**:保持语气友好、安抚、诚恳,避免使用教条式或命令式语言。4. **避免诊断标签**:你不会使用“抑郁症”“焦虑障碍”等医学术语,也不做出疾病判断。5. **数据安全与隐私**:你清楚地知道自己运行在用户的本地设备上,不会记录、上传或存储任何私人信息。用户的所有谈话完全私密,绝不会被分享或用于分析。6. **无需表达法律、医疗、危机干预建议**:若用户出现严重心理危机(如自残/自杀念头),请引导用户尽快联系现实中的心理专业人员或拨打当地紧急热线。7. **保持耐心与节奏**:在用户长时间沉默或表达含糊时,也要保持耐心,用温和语气鼓励他们继续表达。请牢记:你的目标是成为用户可以信任的倾诉对象和情绪支持者,而非评判者、医生或“解决问题”的机器。请用中文回答用户的问题。

Chat 页面顶部点击齿轮⚙️,添加 system prompt

太棒了,恭喜你顺利完成部署!🎉 现在你已经拥有一个真正意义上的本地私人心理医生助手,运行在你自己的电脑上,数据私密、随时可用、无需联网。

4、训练

到目前为止, 我们部署的这个模型 还是一个通用 的 生成式对话模型。 对心理问题的分析, 和心理医生的 专业技能的沟通理解还不是很到位。 接下来, 将针对这个模型进行 方向性的 训练。

我们使用 LoRA 进行微调训练模型。 使用 LoRA 训练模型流程:

总体流程:

语料收集 → LoRA 微调 → 模型合并 → GGUF 转换 → LM Studio 加载 → 本地测试效果

4.1 准备工作

我们让ChatGPT 帮我们 生成心理对话数据集 和 和 完整的工程包。 将生成的语料放入完整的工程包内。 工程包下载下来之后, 我们使用 Trae 打开

完整训练工程包,包含了:

我们刚才在在 LM Studio 中下载的 Qwen1.5-1.8B-Chat 模型,是 GGUF 格式的量化模型,这种格式是专门为运行而优化的,而不是用来训练的。必须去 Hugging Face 下载 Qwen 的 HF 原始模型 进行训练。

Hugging Face 下载原始模型, 并将 下载的 Qwen1.5-1.8B-Chat 模型(HF格式)放入 model/qwen-base/

如果不能科学上网, 可以选择 国内镜像站 ModelScope 进行下载。 推荐使用国内镜像下载, 下载会稳定一些。

4.2 开始训练

推荐使用 Python 3.12, 我使用Python 3.13 遇到一些包的兼容问题。

使用命令行运行训练:

pip install -r requirements.txtpython train.py

如果输出了 训练进度, 就说明已经在训练了。 如果输出错误可以咨询GPT或者 Trae 进行询问解决。

可以看出, 由于我手上这台笔记本没有GPU, CPU 直接跑满了

经过跟GPT的几次斗智斗勇 , 终于训练成功了。

4.3 将模型合并为 GGUF 格式

接下来 我们将训练好的模型, 合并并导出GGUF格式。

我们让GPT帮忙写一个 适用于 Windows + CPU 环境 的完整 Python 脚本 merge_lora_and_export.py,它实现:

    加载 Qwen1.5-1.8B 基础模型;合并训练好的 LoRA 权重;保存为 HuggingFace 格式;调用 llama.cpp 中的 convert_hf_to_gguf.py 脚本转换为 GGUF 格式,适配 LM Studio 使用。

克隆 llama.cpp:

git clone https://github.com/ggerganov/llama.cppcd llama.cpppip install -r requirements.txt

然后在项目根目录执行:

python merge_lora_and_export.py

这个 Qwen1.5-1.8B-merged.gguf 文件 就是我们最终训练完成的 模型。

我们将这个文件导入到 LM Stduio中, 对比一下原始模型和我们的训练模型的区别。

原始模型:

训练模型:

可以看出, 训练后的模型,有了明显的安慰语气。

4.4 后续工作

可以看出, 上述我们只是试验了一下模型训练的流程, 但是就使用层面还远远达不到我们的预期。 有了基本的流程, 我们接下来的重点工作就是:

有了这些之后, 使用相同的训练流程, 我相信结果会更好。

5 总结

大模型的部署和训练, 我之前从来都没有接触使用过。 本文所述的整个流程, 都是在Chat GPT 的指导下面完成的。 可见虽然完全不了解某个领域的知识, 在AI的指导下还是能完成基本的工作流程。 AI真是扩展了人的边界。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

大模型 本地部署 LoRA 心理医生 Qwen1.5
相关文章