魔搭支持在阿里云人工智能平台PAI上进行模型训练、部署了！

魔搭社区的模型可以在阿里云PAI-Model Gallery上使用云算力进行训练和部署，覆盖LLM、AIGC等多领域，实现零代码AI开发，提升效率。

现在，魔搭上的众多模型支持在阿里云人工智能平台PAI-Model Gallery上使用阿里云算力资源进行模型训练和部署啦！

PAI-Model Gallery是阿里云人工智能平台PAI的产品组件，它集成了国内外 AI 开源社区中优质的预训练模型，涵盖了包括LLM、AIGC、CV、NLP等各个领域。通过 PAI 对这些模型的适配，用户可以通过零代码的方式实现从训练到部署再到推理的全过程，大大简化了模型的开发流程，为开发者和企业用户带来了更快、更高效、更便捷的 AI 开发和应用体验。

入口

用户在魔搭的模型页可以找到使用阿里云PAI-Model Gallery进行模型训练/部署的入口。（文后附上了当前支持的模型列表）

本文以当前很火的Qwen2.5-Coder模型（Qwen2.5-Coder-32B-Instruct）为例，介绍如何在 PAI-Model Gallery中进行模型的训练、部署，以及压缩和评测。

模型部署

PAI 提供的 Qwen2.5-Coder-32B-Instruct 预置了模型的部署配置信息，用户仅需提供推理服务的名称以及部署配置使用的资源信息即可将模型部署成在线服务。当前模型需要使用公共资源组进行部署。

部署机型参考：

Qwen2.5-Coder-0.5B/1.5B需要的最低卡型配置为单卡P4，推荐部署机型为单卡GU30、单卡A10、单卡V100、单卡T4等

Qwen2.5-Coder-3B/7B需要的最低卡型配置为单卡P100、单卡T4、单卡V100（gn6v）等，推荐部署机型为单卡GU30、单卡A10等

Qwen2.5-Coder-14B需要的最低卡型配置为单卡L20、单卡GU60、双卡GU30等，推荐部署机型为双卡GU60、双卡L20等

Qwen2.5-Coder-32B需要的最低卡型配置为双卡GU60、双卡L20、四卡A10等，推荐部署机型为四卡GU60、四卡L20、8卡V100-32G

部署的推理服务支持使用 ChatLLM WebUI 进行实时交互，示例如下：

推理服务支持以 OpenAI API 兼容的方式调用。

模型微调训练

PAI-Model Gallery为 Qwen2.5-Coder 模型配置了 SFT（监督微调）和 DPO（直接偏好优化）两种微调算法，支持用户以开箱即用的方式对模型进行微调。SFT 训练算法支持使用 Json 格式的训练数据集，每条数据由问题、答案组成，分用“instruction”、“output”字段表示，例如：

[  {    "instruction": "Create a function to calculate the sum of a sequence of integers.",    "output": "# Python code\ndef sum_sequence(sequence):\n  sum = 0\n  for num in sequence:\n    sum += num\n  return sum"  },  {    "instruction": "Generate a Python code for crawling a website for a specific type of data.",    "output": "import requests\nimport re\n\ndef crawl_website_for_phone_numbers(website):\n    response = requests.get(website)\n    phone_numbers = re.findall('\\d{3}-\\d{3}-\\d{4}', response.text)\n    return phone_numbers\n    \nif __name__ == '__main__':\n    print(crawl_website_for_phone_numbers('www.example.com'))"  }]

DPO 训练算法支持使用 Json 格式输入，每条数据由问题、预期模型输出的答案、不希望模型输出的答案组成，分别用"prompt"、"chosen"和"rejected"字段表示，例如：

[  {    "prompt": "Create a function to calculate the sum of a sequence of integers.",    "chosen": "# Python code\ndef sum_sequence(sequence):\n  sum = 0\n  for num in sequence:\n    sum += num\n  return sum",    "rejected": "[x*x for x in [1, 2, 3, 5, 8, 13]]"  },  {    "prompt": "Generate a Python code for crawling a website for a specific type of data.",    "chosen": "import requests\nimport re\n\ndef crawl_website_for_phone_numbers(website):\n    response = requests.get(website)\n    phone_numbers = re.findall('\\d{3}-\\d{3}-\\d{4}', response.text)\n    return phone_numbers\n    \nif __name__ == '__main__':\n    print(crawl_website_for_phone_numbers('www.example.com'))",    "rejected": "def remove_duplicates(string): \n    result = \"\" \n    prev = '' \n\n    for char in string:\n        if char != prev: \n            result += char\n            prev = char\n    return result\n\nresult = remove_duplicates(\"AAABBCCCD\")\nprint(result)"  }]

当完成数据的准备，用户可以将数据上传到对象存储 OSS Bucket 中。由于32B模型较大，算法需要使用 A800/H800（80GB显存）的 GPU 资源，请确保选择使用的资源配额内有充足的计算资源。

对于各尺寸模型，训练资源可参考：

Qwen2.5-Coder-0.5B/1.5B量级模型：最低使用16GB显存（例如T4、P100、V100）及以上卡型运行训练任务

Qwen2.5-Coder-3B/7B量级模型：最低使用24GB显存（例如A10、T4）及以上卡型运行训练任务

Qwen2.5-Coder-14B量级模型：最低使用32GB显存（例如V100）及以上卡型运行训练任务

Qwen2.5-Coder-32B量级模型：最低使用80GB显存（例如A800/H800）及以上卡型运行训练任务

训练算法支持的超参信息如下，用户可以根据使用的数据，计算资源等调整超参，或是使用算法默认配置的超参。

超参数	默认值	类型	含义
training_strategy	sft	string	训练算法，可以为sft或者dpo
learning_rate	5e-5	float	模型训练的学习率
num_train_epochs	1	int	训练轮次
per_device_train_batch_size	1	int	每张GPU卡在一次训练迭代的数据量
seq_length	128	int	文本序列长度
lora_dim	32	int	LoRA维度（当lora_dim>0时，使用LoRA/QLoRA轻量化训练）
lora_alpha	32	int	LoRA权重（当lora_dim>0时，使用LoRA/QLoRA轻量化训练，该参数生效）
load_in_4bit	true	bool	模型是否以4比特加载（当lora_dim>0，load_in_4bit为true且load_in_8bit为false时，使用4比特QLoRA轻量化训练）
load_in_8bit	false	bool	模型是否以8比特加载（当lora_dim>0，load_in_4bit为false且load_in_8bit为true时，使用8比特QLoRA轻量化训练）
gradient_accumulation_steps	8	int	梯度累积步数
apply_chat_template	true	bool	算法是否为训练数据加上模型默认的chat template 以DistilQwen2系列模型为例，格式为问题：<\|im_end\|>\n<\|im_start\|>user\n + instruction + <\|im_end\|>\n 答案：<\|im_start\|>assistant\n + output + <\|im_end\|>\n
system_prompt	true	string	模型训练使用的系统提示语，默认为You are a helpful assistant