GPT-OSS 是 OpenAI 于 2025 年 8 月 5 日发布的开放权重语言模型： 技术架构：采用了专家混合系统（MoE）的 Transformer 架构，支持 128k 的上下文。采用了 GPT3 同款的交替密集和局部带状稀疏注意力模式，为了提升推理和内存效率，还使用了 8 分组的多查询注意力机制。 训练数据：侧重点是 STEM 学科、编程和通用知识。负责处理数据的 Tokenizer（分词器）o200k_harmony 也会跟着 gpt-oss 一起开源，这个分词器是 o4-mini