在人工智能（AI）飞速发展之际，企业正在将发展重心转向开发具有自主行动能力并可追求目标的通用AI系统。随着人工智能的能力和自主性不断提高，其影响力也将大幅增强。然而，这种增强可能会带来大规模社会伤害和恶意应用，同时在涉及自主AI系统时，也存在人类无法逆转的失控风险。尽管研究人员已对AI的极端风险发出了警告，目前却仍未形成如何有效管理这些风险的共识。虽然社会上已有一些初步的应对措施，但与专家们预期的快速、变革性进展相比，这些回应显然还不够。目前，AI安全研究明显滞后，现行的治理措施也缺乏防止滥用和不负责任行为的机制与制度，对自主系统的规范几乎是空白。通过借鉴其他安全关键技术的治理经验，我们提出了一个综合性的计划，这个计划将技术研究与发展（R&D）与积极的治理机制相结合，以便更妥善地应对未来的挑战。
姚期智，图灵奖得主、清华大学人工智能国际治理研究院学术委员会主席
Daniel Kahneman，诺贝尔经济学奖得主
文献来源：
Bengio, Y., Hinton, G., Yao, A., Song, D., Abbeel, P., Darrell, T., Harari, Y. N., Zhang, Y.-Q., Xue, L., Shalev-Shwartz, S., Hadfield, G., Clune, J., Maharaj, T., Hutter, F., Baydin, A. G., McIlraith, S., Gao, Q., Acharya, A., Krueger, D., … Mindermann, S. (2024). Managing extreme AI risks amid rapid progress. Science, 384(6698), 842–845. https://doi.org/10.1126/science.adn0117
