掘金 人工智能 04月01日
windows大模型llamafactory微调
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文详细介绍了在Windows系统上部署LLaMA-Factory的步骤,LLaMA-Factory是一个用于大模型训练与微调的工具。文章首先强调了对Nvidia显卡的需求,然后逐步指导用户安装WSL、下载并安装LLaMA-Factory,包括miniconda3的安装、创建Python运行环境以及使用pip安装依赖。此外,文章还提供了下载不同模型的建议,并解释了如何配置界面以确保模型能够正确加载。整个过程旨在帮助用户在Windows环境下顺利搭建LLaMA-Factory,从而进行大模型的训练与微调。

💻 准备工作:部署LLaMA-Factory需要Nvidia显卡作为硬件基础,确保系统满足运行需求。

⚙️ 安装WSL:通过PowerShell安装WSL,开启虚拟化并重启电脑,为后续的Linux环境做准备。

⬇️ 下载并安装LLaMA-Factory:从GitHub下载LLaMA-Factory,切换到解压后的目录,并在Ubuntu中安装miniconda3,创建Python运行环境,然后使用pip安装LLaMA-Factory。

📦 模型下载:使用git和git lfs下载所需的模型,例如Qwen1.5-0.5B,确保模型文件完整。

🖼️ 界面设置:在LLaMA-Factory界面中,正确设置模型路径,例如将G盘路径转换为/mnt/g/,以便系统能够找到并加载模型。

硬件前提:Nivida显卡

1. 安装wsl

1.1 打开powe shell,

输入: wsl --install

1.2. 开启虚拟化

​编辑

1.3 重启电脑。

2. 下载llama-factory

地址:github.com/hiyouga/LLa…

​编辑

3. 安装

切换到解压后放到的目录,例如D:\llama-factory目录下,

在win系统菜单打开Ubuntu(注意这里不能是右键目录下打开linux)

1. 切换到目录:(如:G:\LLaMA-Factory-main,前面加上 /mnt/,转到目标)cd /mnt/g/LLaMA-Factory-main2. 安装miniconda3wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.shbash Miniconda3-latest-Linux-x86_64.shsource ~/.bashrcconda --version3. 新增python运行环境conda create -n venv2 python=3.12conda activate venv24. 安装llama-factorypip install -e ".[torch,metrics]" -i https://mirrors.aliyun.com/pypi/simple/llamafactory-cli webuihttp://localhoshttps://juejin.cnt:7860

4. 下载不同模型(使用git方法)

    在对应的模型下面对整个仓库进行克隆(这里需要安装lfs进行大文件安装)

​编辑

git lfs installgit clone https://hf-mirror.com/Qwen/Qwen1.5-0.5Bctrl+Ccd Qwen1.5-https://juejin.cn0.5Bgit lfs pullgit lfs fetch --all

​编辑

5. 设置界面

​编辑

注意这里假设是 G://LLaMA-Factory-models/Qwen1.5-0.5B,要在前面改为/mnt/

/mnt/g/LLaMA-Factory-models/Qwen1.5-0.5B

参考:(有不太明白的看这篇网址,它有出错的看我上方的命令)使用llamafactory进行模型训练与微调-环境准备与工具部署-EOGEE_岳极技术_大模型与AI知识技术共享社区

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

LLaMA-Factory Windows 大模型 部署
相关文章