掘金 人工智能 前天 16:38
使用Llama-Factory进行模型训练与微调-环境准备与工具部署
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文档详细介绍了在WSL环境下,如何准备环境、安装conda和llama-factory,并使用预置数据集进行模型训练的完整流程。从安装WSL和Ubuntu,到下载llama-factory,再到使用conda管理Python环境,每一步都提供了清晰的指导。文章还演示了如何选择模型、调整训练参数,最终完成模型的初步训练,为用户提供了快速搭建大模型训练环境的实用指南。

💻 首先,文章指导用户安装WSL及Ubuntu,为后续的训练环境做准备。安装完成后,用户可以在应用目录中找到并打开Ubuntu。

📦 接下来,用户需要下载llama-factory,这是一个零代码大模型训练平台,提供丰富的模型训练功能。用户需要从github下载llama-factory项目的压缩包,并将其解压到任意目录,例如D:\llama-factory。

🐍 然后,文章详细介绍了conda的安装和使用。conda是Python的包管理工具,用户可以通过conda安装、管理Python环境。具体步骤包括安装miniconda3、创建Python运行环境(例如eogee2,python=3.10),以及激活和管理Python环境。

⚙️ 随后,文章指导用户在llama-factory目录下安装llama-factory。安装过程中,用户需要使用pip安装llama-factory及其依赖包,并注意使用清华镜像加速下载。安装完成后,用户可以通过llamafactory-cli webui启动llama-factory。

🚀 最后,文章演示了如何进行模型训练。用户需要选择被训练模型(例如QWEN1.5-0.5B),调整训练参数(例如训练轮数、梯度),并选择数据集。完成设置后,点击开始训练按钮,即可进行模型训练。

目的

本文档介绍如何准备环境,以及如何安装condaLlama-factory等工具。
使用llama-factory预置的数据集进行模型的简单训练。

1. wsl环境准备

1.1 安装wsl及ubantu

安装完成后,你的应用目录中可以查询到Ubuntu图标,点击打开。

2. 下载llama-factory

llama-factory是一个零代码大模型训练平台,可以快速搭建模型训练环境,并提供丰富的模型训练功能。

前往github下载llama-factory项目的压缩包。

网盘压缩包内文件名:llama-factory.zip

拿到安装包后,可以将其解压到任意目录,如D:\llama-factory

3. 安装conda

condaPython的包管理工具,可以方便地安装、管理Python环境。

3.1 安装

D:\llama-factory目录下,linuxshell下打开命令提示符,依次输入以下命令安装conda,此处安装miniconda3

#安装miniconda3wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh#运行安装脚本bash Miniconda3-latest-Linux-x86_64.sh#激活source ~/.bashrc#验证安装conda --version

安装过程注意按键盘上的Enter键,并在最后输入yes确认安装,直到安装完成,过程中你也可以切换安装路径,默认在/home/用户名目录下。至最终显示版本号,表示安装成功。

3.2 新增python运行环境

你可以使用conda创建多个Python运行环境,每个环境可以有不同的Python版本、依赖包等。

conda create -n eogee2 python=3.10

表示创建了一个名为eogee2Python运行环境,版本为3.10。

安装过程较慢,如果发现报错,可以尝试重新运行安装命令。

3.3 激活环境

输入以下命令来激活刚刚创建的环境:

conda activate eogee2

3.4 其他python环境命令

#查看已创建的环境conda env list#删除环境conda remove -n eogee2 --all

4. 安装llama-factory

4.1 安装llama-factory

llama-factory目录下,linuxshell下打开命令提示符,输入以下命令安装llama-factory

#安装llama-factorypip install -e ".[torch,metrics]" -i https://pypi.tuna.tsinghua.edu.cn/simple

注意过程中需要按y键确认安装。

如果你是AMD显卡且支持rocm,可以尝试安装llama-factoryrocm版本:

pip install -e ".[rocm,metrics]"

-i后的内容表示使用过清华镜像,已解决下载安装过程过慢的问题。

直至最终明确显示successfully built llamafactory字样,表示环境安装成功。

4.2 启动llama-factory

执行以下命令启动llama-factory

llamafactory-cli webui

在浏览器中打开http://localhost:7860,进入llama-factory的界面。

5. 模型训练

5.1 选择被训练模型

你可以提前在hf-mirror下载得到QWEN1.5-0.5B模型,我们选取已知最小的模型用于测试。
网盘内文件名为:Qwen1.5-0.5B.zip

下载完成后,解压压缩包,得到Qwen1.5-0.5B文件夹。你可以将其拷贝到D:\models目录下。

由于我们在ubantu环境下进行训练,需要在模型路径中填写ubantu系统中的相对路径,如:

/mnt/d/models/Qwen1.5-0.5B

你可以在右上角将语言设置为zh中文,以便阅读。

注意
如果你载入Qwen3系列模型报transformers的错,表示当前安装的 transformers 库不支持 qwen3 这个模型架构。这通常是因为:你使用的 transformers 版本太旧,不支持这个新模型或者这个模型非常新,还没有被正式版本的 transformers 收录

解决方案:首先尝试升级 transformers 库
在你的对应的python环境下,更新transformers:

pip install --upgrade transformers

5.2 调整训练参数,选择数据集

我们在界面下方选择llama-factory的自带的数据集identity,选择训练轮数为1,选择梯度为1,以加快训练速度(这种训练参数的设置会造成训练效果不好的状况,此处仅作演示)。设置完成后,点击开始训练按钮。

当界面中提示训练完成,即表示我们本次模型训练初体验成功。

6. 下节预告

数据集的准备。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

llama-factory conda 模型训练 WSL Ubuntu
相关文章