浅谈AI系统风险管理评估｜如何将人工智能纳入体系化风险管理

随着人工智能逐步应用于决策支持、内容生成、质量控制和客户服务等场景，企业面对的风险已不再局限于模型性能，而是扩展到数据、系统、人员、业务、安全、合规以及对个人和社会的影响。

ISO/IEC 23894:2023 的重点，不是孤立建立一套“AI 管理机制”，而是将风险管理融入组织现有治理体系，并落实到具体 AI 系统及其生命周期。标准特别强调，应重视 AI 系统项目层面的风险管理，并使其与组织层面的风险管理相互衔接。

一、先明确具体的 AI 系统和管理边界

组织应识别正在开发或使用的 AI 系统及其用途，并将其纳入风险管理过程。

但 AI 系统清单只是起点。具体评估时，还应明确系统的预期用途、系统边界、运行环境、主要使用者和受影响对象，以及相关责任方。

风险管理对象也不应只理解为模型。AI 系统通常还包括数据、软件组件、基础设施、第三方服务、人工操作和业务流程。ISO/IEC 23894:2023 明确要求从整个系统出发，考虑其技术、功能、运行环境以及对利益相关方的影响。

二、根据系统用途建立风险准则

AI 系统风险高度依赖具体应用场景。同一技术用于不同业务、对象和环境，其风险水平可能完全不同。

因此，应结合系统预期用途、生命周期阶段、适用法律法规、利益相关方要求、第三方依赖和技术环境，确定适用于该系统的风险准则。

风险准则应能够支持对后果、可能性、风险等级和可接受程度的判断。对于可能性，可以采用定性或定量方法；只有在适用并有助于确定风险处置重点时，才宜进行量化计算，避免对误差较大的概率结果形成过度依赖。

三、风险识别要围绕完整系统建立因果链

AI 系统风险识别不能只看模型。

应根据系统性质和应用环境，考虑数据质量、系统复杂性、自动化程度、透明性和可解释性、安全、硬件、生命周期以及技术成熟度等风险来源。

更重要的是，应把风险来源、事件和后果连接起来，而不是简单罗列“数据风险”“公平风险”“安全风险”。

例如：

训练数据代表性不足，导致特定群体误差增加，进而产生不公平决策，并对个人造成公平性影响，同时给组织带来合规和声誉后果。

风险后果既要考虑组织，也要考虑个人、社区、群体和社会。

四、控制措施必须验证是否真正有效

风险控制的关键，不只是“有没有措施”，而是措施是否针对具体风险，并且在实际运行中有效。

组织应识别和记录与 AI 系统开发、使用相关的控制措施，并考虑控制失效的可能性。ISO/IEC 23894:2023 特别要求关注控制措施的运行有效性。

因此，应形成清晰关系：

具体风险、控制措施、有效性验证和剩余风险之间应建立明确对应关系。

例如，可根据风险设置数据质量检查、验证测试、权限控制、安全措施、人工复核、异常升级或人工接管机制。

人工监督也不能仅以“有人审核”作为有效性的证明。还应确认相关人员是否理解系统能力和局限，能够识别异常，并具有实际干预和升级处理的权限。

对于已经实施的风险处置措施，其实施情况和有效性应当验证并记录。

五、风险管理应贯穿 AI 系统生命周期

AI 系统风险不会在上线后自动消失。

设计、开发、验证、部署、运行、更新、重新评价和退役等阶段，都可能引入新的风险或改变原有风险水平。因此，风险评估应与系统生命周期保持一致，不同阶段可以采用不同的评估方法。

运行过程中，应关注系统性能、数据变化、异常事件、实际用途和外部环境变化。重新训练、模型更新、配置调整或用途变化后，也应判断原有风险评估和控制措施是否仍然有效。

六、剩余风险必须有明确决策和可追溯记录

完成风险分析后，应依据风险准则判断风险是否需要进一步处置。

风险处置可以包括避免风险、消除风险源、改变发生可能性或后果、分担风险，或者在充分了解风险的基础上保留风险。如果风险处置后仍无法将负面后果降低到要求水平，应进一步进行风险—收益分析。

同时，应建立系统级风险记录，使每一个风险都能够从识别、分析、评价、处置一直追踪到剩余风险和后续复审。ISO/IEC 23894:2023 要求风险记录支持已识别风险在整个风险管理过程中的可追溯性。

AI 系统风险管理的重点，不是给模型做一次测试，也不是简单增加人工审核，而是针对具体 AI 系统，围绕其预期用途、系统边界、运行环境和生命周期，持续开展风险识别、分析、评价、处置、验证和复审。

组织治理负责确定总体职责、风险偏好和管理框架；具体 AI 系统则应形成自己的风险准则、控制措施、剩余风险决策和可追溯记录。

只有把风险管理真正落实到具体系统及其实际运行过程中，AI 风险控制才能从原则要求转化为可执行、可验证和可持续的管理机制。

Intertek参考ISO/IEC 23894:2023推出的“AI系统风险管理评估服务”，可结合实际应用场景，对 AI 系统在个人、组织及社会层面的潜在影响进行分析，并提出风险优化建议。

目前试点应用已开放，欢迎联系Intertek直属销售或拨打400 886 9926获取更多信息。