2025-01-03 09:01 湖北
在NLP中语言建模的基础上，下一个token预测（Next Token Prediction, NTP）已取得了相当的成功。同样，不同模态的任务也可以有效地包含在NTP框架内，将多模态信息转换为tokens并根据上下文预测下一个token。
利用下一个token预测的历史发展。具有视觉和更多模态的模型以蓝色背景设置，而支持音频模态的模型以绿色背景设置。
多模态学习与下一个token预测（MMNTP）的通用流程图
提出了一个全面的分类体系，通过NTP的视角统一多模态学习中的理解与生成，涵盖了五个关键方面：多模态标记化、多模态NTP模型架构、统一的任务表示、数据集与评估以及开放性挑战。
用于下一个词预测的多模态学习综述的结构（MMNTP）
多模态标记化
多模态令牌化是将来自不同源（如图像、视频、音频剪辑）的信息分解成最小、可管理的单元（令牌），以便NTP模型学习。
类型：多模态令牌化器分为离散型和连续型，基于它们如何从原始数据中派生令牌。
Discrete Tokenization Basics
离散令牌：意味着表示空间由有限数量的离散符号组成，类似于语言模型的词汇表。
应用：通过量化过程将连续空间的值映射到离散空间，通常结果是一个更小的表示空间。
Continuous Tokenization Basics
连续令牌：与离散令牌不同，连续令牌直接从数据的内在属性派生，不强制量化到预定义的码本中。
优势：连续令牌化特别适合于自然存在于连续形式中且需要丰富表示能力的模态，如音频和视觉数据。
Training Methods for Tokenizers
训练方法：基于它们的训练目标，令牌化器的训练方法可以分为四组：自编码（Auto-Encoding）、去噪自编码（Denoising Auto-Encoding）、监督预训练（Supervised Pretraining）和对比学习（Contrastive Learning）。
多模态NTP模型架构
多模态NTP基本结构：多模态信息被令牌化后，需要一个能够处理多模态信息的模型。这个模型通常包括三个步骤：
编码各种输入（如图像、文本、音频等）成令牌序列；
使用多模态Transformer预测下一个令牌；
将预测的令牌解码回各自模态的空间。
有两种类型的多模态下一个token预测模型，组合模型利用预训练的外部编码器和解码器，而统一模型则在一个单一的主干模型中处理所有任务。
组合模型：这种模型使用强大的外部编码器和解码器（例如CLIP）来处理多模态信息。它们通过添加额外的对齐层来连接外部编码器和解码器，以实现多模态理解和生成任务。
统一模型：与组合模型不同，统一模型使用轻量级的编码器和解码器，将多模态理解和生成任务主要在主干模型（通常是大型Transformer解码器）中完成。
统一的任务表示
训练目标：在多模态令牌化后，可以使用统一的主干模型进行训练，以处理各种下游理解和生成任务。训练任务分为预训练和微调，类似于大型语言模型的训练。
离散令牌预测（DTP）：学习预测给定上下文的下一个离散令牌，可以是文本或其他模态。
连续令牌预测（CTP）：除了离散多模态令牌外，多模态信息也可以表示为连续向量，称为连续令牌。
预训练：预训练的重点是将不同模态的表示空间与语言空间对齐，可以分为理解和生成任务的对齐。
微调：在模态对齐训练后，通过指令调整来提高模型理解和执行复杂用户查询的能力，并通过偏好对齐训练来细化模型行为，以符合人类的隐性偏好。
推理：在预训练和微调阶段之后，MMNTP模型也可以通过提示工程技术来增强多模态任务的性能，类似于大型语言模型。
Next Token Prediction Towards Multimodal Intelligence: A Comprehensive Surveyhttps://arxiv.org/abs/2412.18619https://github.com/LMM101/Awesome-Multimodal-Next-Token-Prediction
推荐阅读
• 对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO
• RAG全景图：从RAG启蒙到高级RAG之36技，再到终章Agentic RAG！
• Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）
欢迎关注我的公众号“PaperAgent”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。
