Cnbeta 04月24日 22:23
Delavande:可估算AI聊天机器人消息消耗电量的工具
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

Hugging Face 工程师 Julien Delavande 开发了一款工具,用于估算人工智能模型在运行时的能耗。该工具旨在提高人们对人工智能能源消耗的关注,并鼓励用户考虑模型选择和输出长度对环境的影响。工具实时估算模型发送和接收消息的能耗,并以瓦时或焦耳为单位报告能耗,还将其与常见家用电器的能耗进行比较。例如,使用 Llama 3.3 70B 编写一封电子邮件大约需要 0.1841 瓦时。该工具虽然只是估算,但强调了人工智能的能源成本,并推动开源社区的透明度。

💡 人工智能模型每次运行时都会消耗能源,主要运行在 GPU 和专用芯片上,需要大量电力。

🔍 Julien Delavande 开发的工具旨在估算人工智能模型的能耗,提高人们对这一问题的关注。

⚡️ 该工具实时估算模型发送和接收消息的能耗,并以瓦时或焦耳为单位报告,还与家用电器的能耗进行比较。

📧 例如,使用 Llama 3.3 70B 编写一封电子邮件大约需要 0.1841 瓦时,相当于运行微波炉 0.12 秒或使用烤面包机 0.02 秒。

🌱 Delavande 及其团队希望通过开源社区的透明度,让能源使用情况像食品上的营养标签一样清晰可见。

你是否想过,当你提示或感谢人工智能模型时,会消耗多少电量?Hugging Face 工程师 Julien Delavande 就曾想过这个问题,因此他开发了一个工具来帮助你找到答案。

人工智能模型每次运行时都会消耗能源。它们运行在 GPU 和专用芯片上,需要大量电力才能大规模执行相关的计算工作。确定模型的功耗并非易事,但人们普遍预计,人工智能技术的日益普及将在未来几年推动电力需求达到新的高度。

人工智能对更多电力的需求,导致一些公司采取了不环保的策略。像 Delavande 这样的工具旨在引起人们对这一问题的关注,或许还能让一些人工智能用户有所顾虑。

Delavande 和该工具的其他创建者在一份声明中写道:“即使很小的节能效果也可以扩展到数百万个查询——模型选择或输出长度可能会对环境造成重大影响。”

Delavande 的工具旨在与 Chat UI 配合使用,Chat UI 是 Meta 的 Llama 3.3 70B 和 Google 的 Gemma 3 等模型的开源前端。该工具实时估算模型发送和接收消息的能耗,并以瓦时或焦耳为单位报告能耗。它还将模型的能耗与微波炉和 LED 等常见家用电器的能耗进行比较。

根据该工具,要求 Llama 3.3 70B 编写一封典型的电子邮件大约需要 0.1841 瓦时 - 相当于运行微波炉 0.12 秒或使用烤面包机 0.02 秒。

不过,该工具的估算仅仅是估算而已。Delavande 并没有声称它们非常精确。尽管如此,它们仍然提醒我们,一切事物——包括聊天机器人——都是有成本的。

“通过人工智能能源评分等项目以及对人工智能能源足迹的更广泛研究,我们正在推动开源社区的透明度。总有一天,能源使用情况可以像食品上的营养标签一样清晰可见!”德拉万德和他的联合创始人写道。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

人工智能 能耗 环保 开源 Llama 3
相关文章