🖼️ **原生多模态支持**：Llama4能够无缝集成文本和视觉token，实现文本和图像数据的早期融合，这使得模型能够更好地理解和处理多模态信息。

⚙️ **智能调参MetaP**：MetaP是一种用于智能调整训练超参数的新技术，类似于贝叶斯优化，能够在有限的试验预算内进行自适应实验，从而优化训练策略。

⚖️ **重RL轻SFT/DPO**：Llama4的训练策略侧重于强化学习（RL），减少了对监督微调（SFT）和直接策略优化（DPO）的依赖。这种方法有助于提升模型在RL阶段的探索能力，避免过度约束。

🧠 **MoE架构**：Llama4首次采用了混合专家（MoE）架构，在训练和推理时更加计算高效。这种架构能够在固定的训练计算量下提供更高质量的结果，提升模型性能。

📏 **多样化模型规格**：Llama4系列提供了多种模型规格，包括288B活跃参数的Behemoth、17B活跃参数的Maverick和7B活跃参数的Scout，满足不同应用场景的需求。

2025-04-06 09:05 河南

Llama4：原生多模态，重 RL 轻 SFT/DPO、MetaP调参、MoE架构、10M窗口

Llama 4 Behemoth（未开源）：288B 活跃参数，16个专家，总参数量2T，最智能的蒸馏教师模型

Llama 4 Maverick：17B活跃参数，128个专家，总参数量400B，原生多模态支持1M上下文长度

Llama 4 Scout：7B活跃参数，16个专家，总参数量109B，行业领先的10M上下文长度，优化推理

原生多模态：能够无缝集成文本和视觉token到统一的模型骨干中，实现文本和图像数据的早期融合。

智能调参 MetaP：用于智能调整训练超参数的新技术，这可能类似于 Meta 开源的 Ax 框架中的贝叶斯优化，能在有限的试验预算内进行自适应实验（如 A/B 测试）

后训练策略：重 RL 轻 SFT/DPO，提升在线 RL 的权重。过多的 SFT/DPO 会过度约束模型，限制其在 RL 阶段的探索能力

MoE架构：首次在 Llama 4 模型中使用混合专家架构，在训练和推理时更加计算高效，并且能够在固定的训练 FLOPs 预算下提供更高质量的结果。

https://hf-mirror.com/collections/meta-llama/llama-4-67f0c30d9fe03840bc9d0164https://ai.meta.com/blog/llama-4-multimodal-intelligence/

阅读原文

跳转微信打开