本次报告介绍了Transformer²，一种创新的自适应框架，旨在解决传统微调方法在大语言模型（LLMs）中计算密集和任务多样性处理上的局限性。Transformer²通过选择性调整权重矩阵的奇异成分，实现对新任务的实时适应。它在推理过程中采用两步机制：首先识别任务特性，然后动态混合通过强化学习训练的特定任务“专家”向量，从而为输入提示词提供针对性行为。相较于LoRA等方法，Transformer²在性能、参数效率和多功能性方面更具优势，为构建动态、自组织的人工智能系统奠定了基础。

💡Transformer²是一种自适应框架，它通过选择性调整权重矩阵的奇异成分，实时适应全新任务，从而解决传统微调方法的挑战。

🤖该框架在推理过程中采用两步机制：首先，分发系统识别任务特性；然后，动态混合通过强化学习训练的特定任务“专家”向量，为输入的提示词提供针对性行为。

🚀Transformer²不仅性能优于LoRA等方法，而且所需参数更少，效率更高。此外，它在不同的大型语言模型架构和模态（包括视觉-语言任务）中均表现出多功能性，具有广泛的应用前景。