🧐当前大模型发展受硬件算力制约，如英伟达的H100和B100尚未普及，限制了模型训练能力，未来可能需大量此类硬件提升性能。

📊合成数据在大模型训练中具有重要作用，但现有的硬件资源和成本限制了其应用，使得模型扩展面临困难。

🔍Scaling law虽仍然有效，但其增益是对数级的，算力增加十倍，性能仅提升两倍，导致模型扩展需大量硬件投入。

会议要点 1、大模型发展现状与挑战 当前大模型的发展主要受限于硬件算力。虽然谷歌和其他公司已经训练出大规模模型，但硬件资源的不足使得进一步扩展变得困难。现有的硬件如英伟达的H100和B100尚未普及，限制了模型的训练能力。未来的模型可能需要10万张以上的H100或B100才能实现显著的性能提升。 Scaling law仍然有效，但其增益是对数级的，即算力增加十倍，性能仅提升两倍。这意味着模型的扩展需要大量的硬件投入，而现有的硬件资源和成本限制了这种扩展。 2、合成数据与模型训练 合成数据在大模型