春城雪停了 2025-01-28 08:09 云南
不要671B，只要7B，完全可跑~
大家新春快乐，继DeepSeek R1之后，DeepSeek深夜又放大招，开源下一代统一多模态模型Janus-Pro，包含2个尺寸：Janus-Pro-1B和Janus-Pro-7B。
先看效果，后面进行技术报告解读（回复“Janus-Pro”可获取），效果上，Janus-Pro超越了以往的统一模型，并与特定任务的模型相匹配或超过其性能，包括：Meta、Google、OpenAI、Stability AI等等。
与多模态理解基准测试中的最新技术进行比较。“Und.”和“Gen.”分别表示“理解”和“生成”。使用外部预训练扩散模型的模型用†标记。
Janus-Pro 是 Janus 的高级版本，主要在三个方面进行了改进：优化的训练策略、扩展的训练数据和更大的模型规模。这些改进使得 Janus-Pro 在多模态理解和文本到图像指令遵循能力方面取得了显著进步，同时增强了文本到图像生成的稳定性。
架构
Janus-Pro 的架构与 Janus 相同，核心设计原则是解耦多模态理解和生成的视觉编码。使用独立的编码方法将原始输入转换为特征，然后由统一的自回归transformer处理。对于多模态理解，使用 SigLIP-L 编码器从图像中提取高维语义特征；对于视觉生成任务，使用 VQ tokenizer 将图像转换为离散 ID。这些特征序列被拼接后输入到 LLM 中进行处理。
优化的训练策略
Janus-Pro 对 Janus 的三阶段训练过程进行了优化：
第一阶段：增加训练步骤，充分训练 ImageNet 数据集，即使 LLM 参数固定，模型也能有效建模像素依赖并生成合理图像。
第二阶段：放弃 ImageNet 数据，直接使用正常的文本到图像数据训练模型生成图像，提高训练效率和整体性能。
第三阶段：调整数据比例，减少文本到图像数据的比例，以维持强大的视觉生成能力，同时提高多模态理解性能。
数据扩展
Janus-Pro 在多模态理解和视觉生成方面扩展了训练数据：
多模态理解：增加了约 9000 万样本，包括图像字幕数据集和表格、图表、文档理解数据。
视觉生成：增加了约 7200 万合成美学数据样本，使真实数据与合成数据的比例达到 1:1，提高了模型的收敛速度和输出的美学质量。
模型扩展
Janus-Pro 将模型规模从 1.5B 扩展到 7B，使用更大规模的 LLM 时，多模态理解和视觉生成的损失收敛速度显著提高，验证了该方法的强可扩展性。
https://hf-mirror.com/deepseek-ai/Janus-Pro-7Bhttps://hf-mirror.com/deepseek-ai/Janus-Pro-1Bhttps://github.com/deepseek-ai/Janus
推荐阅读
• 对齐LLM偏好的直接偏好优化方法：DPO、IPO、KTO
• 追平满血版o1，多模态思考模型Kimi 1.5带来多项技术创新
• RAG全景图：从RAG启蒙到高级RAG之36技，再到终章Agentic RAG！
• Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解（1.2万字，20+文献，27张图）
欢迎关注我的公众号“PaperAgent”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。
