2025-06-29 12:23 北京
要深入理解这场变革的本质,我们需要回到技术的源头。
机器之心报道
机器之心编辑部
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:liyazhou@jiqizhixin.com
💡 **Transformer 架构 (Attention is All You Need, 2017)**: 奠定了现代 AI 的基石,Transformer 架构摒弃了循环和卷积网络,仅依靠自注意力机制,高效捕捉长距离依赖关系,引发了 AI 热潮。
📈 **大模型与少样本学习 (Language Models are Few-Shot Learners, 2020)**: 确立了“大模型 + 大数据”的缩放定律,开创了以“提示工程”为核心的新型 AI 应用范式,降低了 AI 技术的开发门槛,催生了 ChatGPT 等生成式 AI 浪潮。
🤝 **RLHF 技术 (Deep Reinforcement Learning from Human Preferences, 2017 & Training language models to follow instructions with human feedback, 2022)**: 提出通过人类反馈进行对齐 (Alignment),使 AI 的输出更有用、更符合人类价值观,成为训练主流对话式 AI 和服务型大模型的行业标准,深刻改变了 AI 的研发范式。
🧠 **BERT 模型 (BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, 2019)**: 确立了“预训练 + 微调”作为行业标准范式,极大地提升了语言理解能力,开启了现代 LLM 的新纪元,成为后续无数模型的基础。
⚖️ **计算最优缩放法则 (Training Compute-Optimal Large Language Models, 2022)**: 揭示了模型的大小和训练数据的规模应该同步增长,改变了之后 LLM 的研发方向和资源分配策略,成为业界训练新模型时遵循的黄金准则。
🚀 **GPT-4 的多模态能力 (GPT-4 Technical Report, 2023)**: 展示了 GPT-4 在各类专业和学术基准测试中展现出的“人类水平”的性能,推动了 AI 在各行业的应用深度和广度。
🔓 **LLaMA 的开源 (LLaMA:Open and Efficient Foundation Language Models, 2023)**: 推动了 LLM 研究的民主化进程,让学术界和中小型企业也能参与到大模型的研发与应用中,打破了少数科技巨头的技术垄断,引爆了整个开源 AI 生态的活力与创新。
2025-06-29 12:23 北京
要深入理解这场变革的本质,我们需要回到技术的源头。
机器之心报道
机器之心编辑部
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:liyazhou@jiqizhixin.com
AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。
鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑