本报告介绍了Transformer²，一种创新的自适应框架，旨在解决传统微调方法在大型语言模型（LLMs）中面临的挑战。Transformer²通过选择性调整权重矩阵的奇异成分，实现对新任务的实时适应。该框架在推理过程中采用两步机制：首先，分发系统识别任务特性；然后，通过强化学习训练的特定任务“专家”向量动态混合，为输入提示词提供针对性行为。与LoRA等方法相比，Transformer²在性能、参数效率和多功能性方面均表现更优，为提高LLMs的适应性和特定任务性能提供了可扩展、高效的解决方案。孙奇博士将分享这一研究成果，为构建真正动态、自组织的人工智能系统奠定基石。

💡Transformer²是一种自适应框架，通过调整权重矩阵的奇异成分来实时适应新任务，克服了传统微调方法的局限性。

🤖该框架采用两步推理机制：任务特性识别和“专家”向量动态混合，从而为输入提示词提供定制化处理。

🥇Transformer²在性能、参数效率和多功能性上优于LoRA等方法，适用于不同的大型语言模型架构和模态，包括视觉-语言任务。

📚孙奇博士的报告将深入探讨Transformer²的原理和优势，为构建动态、自组织的人工智能系统提供新的思路。