2024-11-05 10:10 湖北
大语言模型个性化是一个最近特别值得关注的话题，但是LLM个性化研究存在一个明显的割裂：
部分产品专注于让模型生成个性化的文本
另一部分则在用它做推荐系统等下游任务
首次系统地连接了这两个方向，提出了一个分类体系，总结了个性化LLMs使用的关键差异和挑战，并提出了系统化的分类体系：
个性化LLM的三层框架
个性化大型语言模型（LLMs）的三层框架是指根据个性化粒度对LLMs进行分类的三个层次，每个层次针对不同的个性化目标和应用场景：
用户级个性化（User-level Personalization）：
这个层次关注于单个用户的特定需求和偏好。
个性化的目标是利用详细的用户信息，包括历史互动、偏好和行为，通常通过用户ID来识别。
用户级个性化能够提供最精细的个性化体验，但在数据稀疏性、可扩展性和冷启动问题上面临挑战。
角色级个性化（Persona-level Personalization）：
这个层次针对具有共同特征或偏好的用户群体，称为角色（persona）。
个性化基于这些群体的集体属性，例如专业知识、信息丰富度和风格偏好。
角色级个性化在处理具有共同特征的用户群体时有效，但在缺乏用户特定属性的情况下可能不够精细。
全局偏好个性化（Global Preference Personalization）：
这个层次涵盖了被广泛接受的一般偏好和规范，例如文化标准和社会规范。
这种个性化不提供针对特定用户的具体个性化，而是确保LLMs的输出符合一般公众的偏好和期望。
全局偏好个性化简单易行，但可能缺乏针对性，并且可能引入来自聚合数据的噪声。
这个三层框架允许开发者和研究人员根据具体的应用需求和用户互动水平，选择合适的个性化粒度，以平衡个性化的精确度和可扩展性。未来的研究可能会探索这些层次之间的混合方法，例如，对于频繁用户使用用户级个性化，对于偶尔用户使用角色级个性化，而对于新用户则使用全局偏好个性化。这样的混合方法可以动态调整个性化的粒度，根据用户参与度、上下文和数据可用性提供平衡且有效的用户体验。
个性化LLM的技术方法
个性化大型语言模型（LLMs）的技术方法可以根据用户信息的使用方式进行分类：
通过检索增强生成（Personalization via Retrieval-Augmented Generation, RAG）：
稀疏检索（Sparse Retrieval）：使用基于词频的向量进行编码，依赖于精确的术语匹配。
密集检索（Dense Retrieval）：使用深度神经网络，包括基于LLM的编码器，生成查询和文档的连续嵌入。
通过提示工程（Personalization via Prompting）：
上下文提示（Contextual Prompting）：将用户历史信息直接纳入提示中，使LLMs能够根据这些上下文数据执行下游个性化任务。
角色提示（Persona-based Prompting）：在提示中引入特定的角色，如人口统计信息，通过鼓励LLMs扮演这些角色来增强下游个性化任务的性能。
基于档案的提示（Profile-Augmented Prompting）：设计提示策略，通过利用LLMs的内部知识来丰富原始用户历史信息，从而改善下游个性化任务。
提示优化（Prompt Refinement）：开发鲁棒框架，迭代优化初始手工制作的提示，增强下游个性化。
通过表示学习（Personalization via Representation Learning）：
全参数微调（Full-Parameter Fine-tuning）：通过在特定任务上进一步训练预训练的LLM来适应特定任务。
参数高效微调（Parameter-Efficient Fine-tuning）：只更新模型的一小部分参数或引入一组新的参数来适应下游个性化任务。
嵌入学习（Embedding Learning）：学习表示输入文本和用户信息的嵌入，使模型能够更有效地结合个性化特征和偏好。
通过人类反馈的强化学习（Personalization via Reinforcement Learning from Human Feedback, RLHF）：
使用用户信息作为奖励信号，通过强化学习对齐LLMs与个性化偏好。
这些技术方法提供了不同的途径来整合用户特定的数据到LLMs中，以实现个性化。每种方法都有其独特的特点、应用场景和权衡。这些方法大多是正交的，意味着它们可以在同一个系统中共存。通过这些技术方法的分类，研究人员和开发者可以更好地理解和选择适合特定应用和场景的个性化技术。
https://arxiv.org/pdf/2411.00027Personalization of Large Language Models: A Survey
推荐阅读
• 对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO
• RAG全景图：从RAG启蒙到高级RAG之36技，再到终章Agentic RAG！
• Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）
欢迎关注我的公众号“PaperAgent”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。
