①o1在“化学、生物、放射和核”武器相关的问题上存在“中等”风险——这也是OpenAI有史以来对其模型打出的最高风险评级；②专家称，具有更先进功能（例如执行逐步推理的能力）的AI软件，在恶意行为者手中更容易被滥用。
美国人工智能公司OpenAI承认，其最新的o1模型“显著”增加了被滥用于制造生物武器的风险。
当地时间周四（9月12日），OpenAI发布了新一代o1系列模型，宣称可以推理复杂的任务并解决比以前的科学、编码和数学模型更难的问题。这些进展也被认为是朝向通用人工智能（AGI）的关键突破。
根据测试，o1模型在国际数学奥林匹克的资格考试中，能够拿到83%的分数，而GPT-4o只能正确解决13%的问题。在编程能力比赛Codeforces中，o1模型拿到89%百分位的成绩，而GPT-4o只有11%。
OpenAI表示，根据测试，在下一个更新的版本中，大模型在物理、化学和生物学的挑战性基准测试中，表现能够与博士生水平类似。但能力越强的AI模型意味着其潜在的破坏力也更强。
同一时间，OpenAI公布了o1的系统卡（用于解释AI如何运作的工具），报告概述了包括外部红队测试和准备框架（Preparedness Framework）等细节，并介绍了其在安全及风险评估方面所采取的措施。
报告提到，o1在“化学、生物、放射和核”（CBRN）武器相关的问题上存在“中等”（medium）风险——这也是OpenAI有史以来对其模型打出的最高风险评级。
OpenAI表示，这意味着该技术“显著提升”了专家制造生物武器的能力。据了解，评级一共分为“低、中、高和严重”四档，评级在“中”或以下的模型才可以部署，在“高”或以下的才可以进一步开发。
专家称，具有更先进功能（例如执行逐步推理的能力）的AI软件，在恶意行为者手中更容易被滥用。
图灵奖得主、蒙特利尔大学计算机科学教授Yoshua Bengio表示，如果OpenAI现在在化学和生物武器方面构成“中等风险”，那么这“进一步加强了”立法的必要性和紧迫性。
Bengio提到了有望即将落地的“SB 1047法案”，全称“前沿人工智能模型安全创新法案”。该法案要求大型前沿人工智能模型的开发者采取预防措施，其中就包括减少模型被用于开发生物武器的风险。
Bengio称，随着前沿AI模型向AGI迈进，如果没有适当的防护措施，风险将继续增加，“AI推理能力的提升及其利用该技能进行欺骗的潜力尤其危险。”
OpenAI首席技术官米拉·穆拉蒂（Mira Murati）告诉媒体，由于o1模型的先进功能，公司在向公众推出该模型时采取了特别“谨慎”的态度。
她补充道，模型通过了红队测试，在整体安全指标上远优于之前的版本。
编辑/ping
