MIT 科技评论 - 本周热榜 19小时前
斯坦福团队开发AI数据提取框架,为能源领域数据获取难题提供方案
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

斯坦福大学研究团队开发了一种基于大语言模型的创新框架,用于从公开文献中高效提取油气行业关键数据,以支持温室气体排放的准确评估与减排。该框架利用GPT-4和GPT-4o的文本理解能力,解决了传统数据获取的难题,并展现出显著的经济性和效率优势。研究团队通过迭代优化提示词,构建专业数据集,并进行细致的误差分析和模型校正,最终实现了83.74%的准确率。这项技术不仅适用于上游领域,还可拓展至中下游环节,为能源领域的数据提取提供了可复用的研究范式,并为全球气候政策的制定提供关键数据支撑。

💡该研究的核心在于利用GPT-4和GPT-4o等大语言模型,高效提取油气行业关键数据,解决传统数据获取难题。研究人员通过迭代优化提示词,构建了包含108份文档的专业数据集,涵盖51个核心参数,并采用领域专家人工标注的方式建立基准数据以提升模型准确率。

💰该框架展现出显著的经济性优势,通过优化GPT-4o的应用,单数据点提取成本降低达10倍(0.04美元)。同时,在测试数据集上实现了83.74%的准确率与78.16%的F1分数,证明了其在多源信息中的适应性与可靠性。

⏱️从文档处理效率来看,新方法从32篇文档中提取大量数据仅需61.41分钟,处理一个文档平均仅需7.09秒,较手动方法实现了显著提升。研究还揭示了文本类型对提取效率的影响,新闻类文章的提取速度明显优于技术文献。

🌍该框架的应用范围不仅限于能源行业的上游领域,其强大的适应性使其同样适用于中游和下游环节的数据提取任务,例如发电领域。研究团队致力于开发具备迁移学习能力的框架体系,使其能够通过'举一反三'的机制,在不同应用场景中创造新的价值。

温室气体排放的准确评估与减排是能源领域的重大挑战,但石油和天然气行业的关键数据通常分散在昂贵的商业数据库中,其存在数据碎片化、杂乱且难以获取的问题。此外,该领域的官方数据更新相对滞后,传统人工提取方法效率低下且容易出错。

针对上述问题,美国斯坦福大学博士生陈震林及其所在课题组基于大语言模型开发了一种创新的框架。

该技术利用大模型(GPT-4 和 GPT-4o)卓越的文本理解能力(远超传统文字识别技术),能够从石油天然气领域的公开文献(包括学术期刊论文和新闻报道等多元数据格式)中高效提取关键数据。

这一框架展现出两大核心优势:

一是经济性显著提升,通过优化 GPT-4o 的应用,使单数据点提取成本降低达 10 倍(0.04 美元);

二是效率高,在测试数据集上实现了 83.74% 的准确率与 78.16% 的 F1 分数,证明了其在在内的多源信息中的适应性与可靠性。

据介绍,这是斯坦福团队首例在石油天然气领域的应用。该工具不仅解决了传统数据获取的难题,更能为温室气体排放的精准评估和全生命周期分析提供可靠支撑,最终服务于科学政策制定和环境管理决策的优化。

图丨陈震林(来源:陈震林)

日前,相关论文以《通过大语言模型数据提取推进油气排放评估》(Advancing oil and gas emissions assessment through large language model data extraction)为题发表在 Energy and AI[1]。斯坦福大学博士生陈震林担任第一作者兼通讯作者。

图丨相关论文(来源:Energy and AI)

该框架的创新之处在于利用 GPT-4 和 GPT-4o 等大模型,通过迭代优化提示词(prompt engineering)实现油气行业关键数据的高效提取。

为验证方法的有效性,该课题组首先构建了一个包含 108 份文档的专业数据集,涵盖气油比、水油比等 51 个核心参数,并采用领域专家人工标注的方式建立基准数据以提升模型准确率。

(来源:Energy and AI)

陈震林对 DeepTech 进一步解释道:“我们整合了领域专业知识与数值计算方法,包括物理方程和热力学方程的运用。然后,将专家计算结果与大模型输出进行多轮比对和迭代优化。”

随后,研究人员进一步进行微调,分析每篇文章在数据库中提取出错以及与人工标注结果不符的原因。

细致的误差分析结果显示,数据偏差可能来自两个方面:一方面,人工标注本身存在误差,在某些情况下大模型的判断反而更准确;另一方面,模型在单位换算或数值处理时会出现混淆。

针对这些问题,研究人员对其进行更多的训练和校正,使训练后的准确率从初始的 63.6% 显著提升到了 83.74%(如下表)。

表丨提示迭代训练结果(来源:Energy and AI)

从文档处理效率方面来看,使用新方法从 32 篇文档中提取大量数据仅需 61.41 分钟,处理一个文档平均仅需 7.09 秒,较手动方法实现了显著提升。

值得注意的是,研究还揭示了文本类型对提取效率的影响——由于字段结构更简单、内容更直白,新闻类文章的提取速度明显优于技术文献。

陈震林指出,研究过程中的关键挑战在于开发最优的零样本学习方法,这需要通过对提示策略的持续迭代来寻找最佳解决方案。

图丨基于大模型的数据提取的迭代提示工程过程(来源:Energy and AI)

该课题组不仅建立了一套系统的提示优化方法论,更探索出充分发挥大模型潜力的技术路径,为能源领域数据提取提供了可复用的研究范式。

需要了解的是,该框架的应用范围不仅限于能源行业的上游领域,其强大的适应性使其同样适用于中游和下游环节的数据提取任务。例如,在发电领域,该技术可高效处理能源监管机构发布的年度发电站报告,以及各国政府定期发布的能源统计报告。

这些报告数据来源多样,既包含传统油气领域信息,也涵盖下游发电产业(如数据中心运营数据)和各类结构化表格数据。

对此,陈震林特别强调:“我们致力于开发具备迁移学习能力的框架体系,使其能够通过'举一反三'的机制,在不同应用场景中创造新的价值。”

表丨大模型框架与 GPT-4 和 GPT-4o 测试结果(来源:Energy and AI)

在未来的研究阶段,研究人员计划继续优化准确率和架构。陈震林表示:“我们当初在做这项研究时只能依赖 GPT,但现在随着大模型的不断迭代和发展,可以让包括 DeepSeek 在内的多个模型混合共同阅读文献并交叉验证,从而进一步提升模型的可靠性。”

目前,该团队的龙文男博士已完成一项关于全球液化天然气碳排放测算的深入研究,系统追踪了从上游开采到下游应用的完整供应链碳足迹,相关论文已进入投稿阶段。

此外,研究人员还计划基于错误分析机制,更深入地揭示大模型本身在某些方面理解错误率较高的原因。“我们将通过大规模错误样本分析,精确识别模型的理解盲区和易错点,这些发现将直接指导后续的模型优化。”陈震林说。

在应用层面,该课题组在本次研究中已完成了上游环节的定性分析,接下来将重点拓展至中游和下游的全面评估。“我们期待这项研究能成为 AI 与能源领域深度结合的重要工作,为全球气候政策的科学制定提供关键数据支撑。”陈震林说。

参考资料:

1.Zhenlin Chen et al. Advancing oil and gas emissions assessment through large language model data extraction. Energy and AI(2025). https://doi.org/10.1016/j.egyai.2025.100481

运营/排版:何晨龙

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

大语言模型 油气数据 温室气体排放 能源领域
相关文章