在基于风险规制模式中,风险评估、风险管理和风险沟通是核心内容,风险分级分类是实施路径,统一专业的风险管理机构是组织保障。
(一)中国人工智能风险治理的“三环节”框架及其制度构成
国际风险管理理事会(Intemmational Risk Governance Council,IRCC)提出过一个风险治理框架,具体包括以下步骤。第一步,预评估、识别和构建(PreAssessment, Identification and Framing):建构风险,提早预警;识别和引入相关参与者和利益群体。第二步,在技术和感知方面评估风险的原因和结果。第三步,评估是否存在管理风险。第四步,执行风险管理选项。第五步,风险沟通。风险规制体系通常由三个主要部分构成:其一,技术部分是风险评估;其二,政策导向部分是风险管理;其三,信息传导部分是风险沟通。美国发布的《联邦政府风险评估》报告也提出风险评估与风险管理的二分框架,其将风险评估确定为“科学”的过程。
综合参考这些风险管理框架,本文提出人工智能风险治理的“三环节”框架,具体包括风险评估、风险沟通和风险管理,如图1所示。这三个环节彼此之间紧密联系和高度协调,其中风险沟通环节贯穿了风险规制的始终。各个环节循环往复,形成一个动态过程。可将人工智能风险治理的“三环节”框架应用于生成式人工智能风险治理:首先,在风险评估环节,建立生成式人工智能风险监测和风险评估制度,要求定期检测大模型,针对安全漏洞、危害类型和风险程度以及相关技术指标等进行综合评估。其次,在风险管理环节,建立安全管理制度风险源追溯制度以及产品召回制度,要求企业搭建内部风险管理体系,开展内部合规和培训工作,定期接受监管机构的抽查和第三方审计,及时召回存在安全隐患的人工智能产品。最后,在风险沟通环节,建立风险信息平台,及时公布风险监测数据、风险评估报告以及风险管理的抽查情况,接受社会公众的监督。
1.生成式人工智能风险评估
风险评估指判断特定危险发生的可能性及其对人的健康和环境造成的影响程度,风险评估由风险识别、风险分析和风险评价三项内容构成。
首先,风险识别常运用专家访谈法、案例分析法以及问卷调查法,可以通过风险分类的方式建立风险类型库,并在具体应用场景中,灵活选取风险识别的方法,准确界定风险类型。在风险类型库中,大致可分为技术风险和应用风险,其中技术风险包括算法类型风险和数据类型风险;应用风险包括侵犯个人权利、损害个人身体健康和扰乱社会公共秩序等情况。
其次,在风险分析中,常运用定量分析法或定性分析法来界定风险级别,计算公式为风险等级(R)=风险概率(P)*风险严重度(L)。风险概率可以根据历史数据搭建风险模型来测算,评估维度则有大模型参数规模、安全措施完善度、数据集质量等方面;风险严重程度可以根据用户规模、财产损失数额和对社会影响范围等维度评定,比如美国加利福尼亚州的《前沿人工智能模型安全创新法案》以“大规模人员伤亡”或“五亿美元”以上的损失作为“重大损害”的认定标准。
最后,风险评价是确定哪些风险可接受、哪些风险要消减和哪些风险要规避,比如,对于大模型“幻觉”引起的个人侵权问题,可以视为可接受风险,通过侵权规则或自我合规等事后措施进行处理;涉及恐怖主义、国家安全、意识形态安全等问题,应该视为高风险,需要有效规避,并应采取事先评估、价值对齐和内容过滤等事前规制措施。
生成式人工智能风险涉及不可度量的不确定性问题,而且风险程度受到社会公众的主观态度的影响,这对风险管理决策机制带来挑战,甚至导致相关机构可能忽视对规制收益与成本的考量而采取“一刀切”的禁止措施。为此,应采取措施保证生成式人工智能风险评估的科学性和独立性,宜确立专门的专家咨询制度,比如设立国家人工智能风险治理委员会,吸纳人工智能技术、法律和伦理等领域的专家,拟定统一的风险评估方法、维度和标准。为明确风险评估的范围应当构建风险评估的指标体系。在风险评估维度和标准方面,应包括干预政治舆论控制、社会歧视、隐私泄露等政治与社会风险维度,以及模型攻击、数据投毒、算法毒性等技术风险维度。
然而,风险评估本身存在科学的限度问题。首先,大模型的科学原理和技术路径本身存在局限,而公众对技术的认知并不全面。其次,风险评估会受政治和价值判断的影响,比如科技专家对知识的“垄断性”容易掩盖公众所关注的风险的社会价值意涵,加剧专家风险判断与公众风险感知的对立,一定程度上降低了公众参与的意愿,并阻断了公众参与的技术路径。最后,中国专业化的风险评估队伍建设、智能化的信息搜集整合机制以及现代化的风险分析技术较为薄弱:而且风险评估的独立性和中立性较为欠缺。因此,在人工智能风险评估程序的设计上要确保中立性和独立性,在设立专家委员会时应平衡评估团体的知识结构,从而保证专家结论的科学性。
2.生成式人工智能风险管理
风险管理指设置不同管理机制,有效管控已经预判和评估的风险。经风险评估后,围绕生成式大模型建立“上市前-上市后”的全链条风险控制机制,具体如表1所示。对于高风险类别,上市前需要采取以下举措。
对于政府而言,首先,应当根据质量标准进行筛查,只有质量合格的产品才能流向市场,质量标准包括生成内容的准确性、创新性、可理解性和用户需求的满意度等维度。其次,建设综合备案系统,对大模型的参数、开发者、性能指标、算法类型等进行备案登记,便于风险追踪和管理。最后,构建安全测评体系,参与国际标准制定和指导国家标准构建,制定风险评估的指标目录。
对于企业而言,首先,开展伦理审查。其次,建立全生命周期的内部风险控制体系,对数据、算法和设施等方面进行检查和测试,以减少风险源。为了实现问责,还应明确董事会是企业风险管理的直接责任人。最后,生成式人工智能风险的技术属性较强,技术治理可以作为重要的风险管理措施,例如,要求企业采取价值对齐,保证生成内容符合人类价值观。
上市之后则需要采取以下措施。对于政府而言,首先,建立审计机制,监督企业内部风险管控情况;其次,基于备案系统进行安全状态跟踪;最后,定期更新国家标准。对于企业而言,首先,定期开展伦理宣传和指导;其次,实时更新风险信息和优化技术治理措施;最后,动态调整内部治理组织,提高内部治理能力。
3.生成弍人工智能风险沟通
风险沟通是关于风险本质、影响和控制等信息的意见交换过程,该环节关注风险的性质和影响因素,涉及对风险评估结果的解释。首先,风险沟通要解决信任问题。科技专家与公众对风险认知存在差异,需要降低专家、政府与公众之间的信息不对称,避免公众产生不必要的恐慌。其次,风险沟通要解决信息准确传递的问题。目前,科技专家对人工智能风险的认知呈现两极化的现象,部分专家认为风险不足为惧,部分专家认为存在失控风险。根据“风险的社会放大效应”理论,风险事件通常会有“涟漪效应”,公众容易受到个别专家言论的影响而难以理性判断。这就要求政府搭建畅通的信息沟通机制,保证风险信息的准确传递。最后,风险沟通要有多元主体的民主参与。民主参与的实质是通过沟通来管理风险,风险沟通需要政府和利益相关者共同参与,政府机构承担信息发布者的角色,比如通过发布会、专家研讨会和通识课等方式实现风险对话,形成信息交换机制。为此,政府需要建设信息资源共享平台,及时发布风险信息,并在利益相关者辩论时协调彼此的冲突。
在中国,风险沟通是薄弱环节,公众和监管机构都对生成式人工智能的风险认识不足,学界和媒体界对风险介绍的科学性和严谨性也有所欠缺。风险沟通不局限于单向度的风险信息发布,而需要制定《生成式人工智能风险沟通指引》建设风险沟通平台,并发起交流会议和公开辩论。为了避免风险放大或“异化”风险治理机构应该针对热点风险事件发声,并发布权威的风险评估报告。
(二)以分级分类治理作为人工智能风险治理的实施路径
1.分级分类方法的理论基础
分级分类治理的本质是分类管理和重点管理,该方法强调监管的回应性,其本质是要求基于监管对象不同的动机采取不同的措施。分级分类治理属于风险牵引式的监管资源配置模式,是现代政府从注重事前监管转向更加注重事中事后监管阶段必须具备的一种核心能力。分级分类治理的理论依据包括:其一经济学理论中的成本收益法则,即根据经济学的效用理论,在有限的监管资源条件下,根据监管难易程度或风险大小,分配监管资源,将监管效益最大化。其二,技术理论中的事故致因理论,即可以通过相关理论认识事故的发生原理,及时采取防范措施,预防事故发生。
在国内,分级分类治理的方法已经应用于信用监管、食品监管、环境风险监管、生物安全监管和医疗器械监管等领域。在信用监管中,监管机构对信用好和风险低的市场主体,降低抽查比例和频次。对违法失信和风险高的市场主体,提高抽查比例和频次,列入重点信用监管范围。从上述实践看,实现分级分类的关键是先确定风险等级的划分依据和标准,然后设计与风险程度相匹配的差异化管理措施。比如在生物安全监管中,监管机构根据生物技术研究和开发活动对公众健康、工业农业和生态环境等方面造成危害的程度,将风险划定为高、中和低三个等级。
2.欧美人工智能风险分级分类的实践与启示
欧盟《人工智能法》以健康、安全和基本权利作为评判标准,将高风险的人工智能系统限于对人的健康、安全和基本权利造成重大有害影响这一范围。基本权利包括人的尊严权、言论和信息自由权、不受歧视权以及受教育权等。从分类来看,其中一类别是人工智能系统作为产品的安全组件,或者本身作为产品应用。此类产品包括机械、玩具、电梯以及用于潜在爆炸性气体环境的设备和保扩系统、无线电设备、压力设备、娱乐船设备、索道装置、燃烧气体燃料的设备医疗器械和体外诊断医疗器械,因为这些产品容易产生物理性危害。另一类是对人的基本权利有影响的技术类型或应用场景,技术类型包括远程生物识别系统、用于生物分类的人工智能系统以及用于情感识别的人工智能系统。应用场景包括教育和职业培训场景;就业、工人管理和自雇职业场景;获得和享受基本私人服务、基本公共服务和福利场景;执法部门用于评估自然人犯罪等场景;移民、庇护和边境控制管理场景;司法和民主程序场景。
美国《2019年算法问责法案》界定的高风险自动决策系统的场景包括:对用户个人隐私或安全构成重大风险;导致或促成不准确、不公平、有偏见或歧视的决定;在人们生活的敏感领域(比如工作表现、经济状况、健康、个人偏好、兴趣、行为、位置或动作)作出决策或辅助人类决策;涉及大量用户的个人信息(比如种族、政治观点、工会资格和性取向);系统地监控大型、可公开访问的物理空间。2023年3月,美国商会技术合作中心(Chamber of Commerce Technolo-gy Engagement Center)发布《人工智能委员会报告》,该文件构建了基于风险的监管框架,将高风险类别明确为法律权利、安全性、自由以及获得住房、教育、就业和医疗保健的权利等领域。2024年5月8日,美国科罗拉多州通过了《科罗拉多州人工智能法》(Colorado Artificial Intelligence Act),其核心是反歧视,重点关注高风险人工智能系统的使用,具体应用领域包括:教育入学或教育机会就业或就业机会、金融或借贷服务、政府基本服务、医疗保健服务、住房服务保险或法律服务。
风险分级分类的意义在于,如果规制机构能识别不同领域和不同环节中人工智能应用风险的程度差异,那么就可以选取和实施相应的规制工具,使规制措施与被规制风险相匹配。综合分析欧美的实践做法,通常将人工智能风险分为两大类:一类是涉及物理层面安全的风险,可称其为基础设施风险或产品类风险,比如人工智能作为组件或者作为主要的支撑系统应用于关键基础设施,包括水电、核和交通等领域,对国家安全或社会安全有重大影响。另一类是涉及公民权利的风险,即权利类风险,比如侵犯个人隐私权、受教育权和平等就业权。对于产品类风险,欧盟采用上市前的合规评估措施,依赖现有的产品责任监管体系对于权利类风险,欧盟要求企业进行内部控制,强调企业自我合规。欧盟采取此种分类方法,考虑了两种风险的性质差异,因为产品类风险通常具有可计算性,可以根据过往经验判断产品类风险的伤害程度和发生可能性,而权利类风险带有主观偏见,损害程度难以量化,具有不可通约性。
3.中国生成式人工智能风险分级分类的思路与设想
人工智能风险分类应该遵循以下原则:其一,风险分类应该根据对个人、社会和生态系统的不利影响进行范围界定,包括对人的基础权利(比如安全和健康)的影响、使用程度、预期目的、受影响的人、替代方案的可获得性、危害的不可恢复性等方面。其二,应结合应用场景进行风险分类,风险维度包括伦理性能和安全等方面,评估要点包括场景应用的目的、人工智能部件在整个系统中的功能以及应用所处行业的特性等内容。风险分类有以下目的:其一,识别风险类型后,便于查找风险来源、采取针对性风险应对措施;其二,风险类型可以用于判断损害后果的严重程度,让风险分级更加科学。如上文所述,先构建生成式人工智能风险类型库(见表2),再根据技术演变的情况及时调整需要重点关注的风险类型。
在风险分级方面,可将风险分为不可接受风险、高风险、中风险和低风险四个等级。对于不可接受风险场景,应该严格禁止开发和应用;对于高风险场景应该制定严格的规范和透明度要求:对于中风险场景,可以发挥企业自我规制的作用,侧重使用软法和行业最佳实践;对于低风险场景,可以采用事后的责任救济制度。结合域外的高风险场景和国内实际情况,列出高风险清单。
从敏感场景看,生成式人工智能应用对个人权益或社会公共利益有重大影响时都应被视为高风险,比如涉及税务、金融、教育、住房、就业等应用场景,或者涉及个人资格授予的政务场景,包括自动化行政、智慧司法等。从应用规模看,社交类平台、用户规模超大的平台和涉及内容分发业务的平台使用生成式人工智能等情景,都应该被视为高风险。然而,因应用环境、功能用途和人为因素等方面存在差异,人工智能的潜在风险程度不同。因而,除了由法律认定哪些场景或产品为不可接受风险或高风险外,还应秉持“场景驱动”的治理理念,依据风险评估标准对具体场景的风险等级进行灵活判断,常用工具包括风险矩阵法风险指标法和风险模型法。风险矩阵基于两个交叉因素,即风险发生的可能性和损害后果的严重性,来认定风险等级。如表3所示,I级为不可接受风险,即发生可能性高且损害后果严重;Ⅱ级为高风险,即发生可能性较高且损害后果严重,或者发生可能性高且损害后果较严重;亚级为中风险,即发生可能性低但损害后果严重,或发生可能性较高且损害后果较严重,或发生可能性高但损害后果轻;Ⅳ级为低风险。
总之,风险分级分类是方法而非目的,其落脚点是针对具体场景快速识别风险类型和判断风险等级。风险分级分类的标准和目录不是一成不变的,需要根据技术发展状况和应用规模灵活调整,特别是引入技术专家定期评估关键领域的风险类型和风险等级,动态调整风险分级标准和风险类型库。
(三)风险治理视角下中国人工智能风险管理机构的科学设置
从学理层面看,组织机构设置的科学性直接影响人工智能风险治理的有效性。如前文所述,目前中国人工智能治理格局呈现分散化和碎片化的条块分割管理的特征,监管权限的分散虽然能发挥各个行业主管部门的专业优势,但会产生监管尺度不一、认定标准不一和协作成本高等问题。人工智能风险的评估具有不确定性和不可预期性,容易造成行政不作为或运动式监管。因此,需要有一个统一的风险管理机构实现“一站式监管”,统一风险管理规则。集中化的行政组织通过创设“风险议程”,有助于合理确定规制的优先次序,更好地配置规制资源,并有利于汲取科学知识而不受政治与民意的过度干扰。
从历史经验看,是否有统一的中央监管机构可能会影响公众对新技术的包容度,甚至决定新技术的适用广度。以转基因技术为例,欧洲和美国社会对该技术的态度迥异,欧洲民众对该项新技术普遍表示担忧,而美国有77%的玉米种植采用了转基因技术。出现这种差异的一个重要原因在于,监管机构在技术起步阶段采取了不同措施。在美国,转基因技术开发后不久,美国食品药品管理局就推动包括科学家、监管机构、农民和环保主义者在内的各方利益相关者进行讨论。正如学者指出,“欧洲缺乏技术许可及减轻公众恐慌的中央监管机构,而生物技术被视为一项需要创新性监管措施的新技术……”。在个人信息保护领域,也有实证研究表明,在拥有独立数据保护机构的国家,个人信息保护的效果可能会更好。再以人脸识别技术为例。在美国,由于缺乏统一和权威的风险管理机构及时进行风险评估和采取管理措施,公众对该技术产生了严重的恐慌情绪和极大的抵触心理。中国也有类似情况,由于缺乏统一的监管机构进行风险评估和制定安全标准,很多住宅小区安装人脸识别设备后,遭到公众质疑,导致很多设备闲置。如果有统一的机构提前进行风险评估和风险沟通,及时制定安全标准,便可在风险可控的情况下使用新技术。由此可见,如果缺少一个统一权威的风险管理机构及时实施风险评估、风险管理和风险沟通,一项新技术可能无法得到有效的运用,甚至因公众态度的转变而遭到彻底摒弃,进而导致资源浪费,影响技术创新。
综上,成立一个专门的人工智能风险管理机构是构建中国人工智能风险治理体系的重要组成部分。通过明确具有中心地位的组织机构,加强部门间协作,防止人工智能政策的制定和实施出现偏差。2023年中国成立了国家数据局,表明新设机构在实践上具有可行性。对此,可以参照国家数据局、国家金融监督管理总局、国家市场监督管理总局等部门机构改革的经验,将目前国家部委中涉及人工智能风险治理工作的机构或人员进行整合,并适当新增编制人员,从而弥补现有队伍在专业知识结构上的短板。一旦国家层面设立了人工智能风险治理机构,各个企业就需要建立相应的内部治理组织,以配合国家治理机构的要求和履行相关义务。这样将产生显著的治理“协同效应”,一方面实现监管要求的快速落地另一方面调动企业自我监督的积极性。这体现了政府规制向自我规制的映射,有助于提高被规制者对规制目标的敏锐度。