|
随着人工智能逐步应用于决策支持、内容生成、质量控制和客户服务等场景，企业面对的风险已不再局限于模型性能，而是扩展到数据、系统、人员、业务、安全、合规以及对个人和社会的影响。
ISO/IEC 23894:2023 的重点，不是孤立建立一套“AI 管理机制”，而是将风险管理融入组织现有治理体系，并落实到具体 AI 系统及其生命周期。标准特别强调，应重视 AI 系统项目层面的风险管理，并使其与组织层面的风险管理相互衔接。
一、先明确具体的 AI 系统和管理边界
组织应识别正在开发或使用的 AI 系统及其用途，并将其纳入风险管理过程。
但 AI 系统清单只是起点。具体评估时，还应明确系统的预期用途、系统边界、运行环境、主要使用者和受影响对象，以及相关责任方。
风险管理对象也不应只理解为模型。AI 系统通常还包括数据、软件组件、基础设施、第三方服务、人工操作和业务流程。ISO/IEC 23894:2023 明确要求从整个系统出发，考虑其技术、功能、运行环境以及对利益相关方的影响。
二、根据系统用途建立风险准则
AI 系统风险高度依赖具体应用场景。同一技术用于不同业务、对象和环境，其风险水平可能完全不同。
因此，应结合系统预期用途、生命周期阶段、适用法律法规、利益相关方要求、第三方依赖和技术环境，确定适用于该系统的风险准则。
风险准则应能够支持对后果、可能性、风险等级和可接受程度的判断。对于可能性，可以采用定性或定量方法；只有在适用并有助于确定风险处置重点时，才宜进行量化计算，避免对误差较大的概率结果形成过度依赖。
三、风险识别要围绕完整系统建立因果链
AI 系统风险识别不能只看模型。
应根据系统性质和应用环境，考虑数据质量、系统复杂性、自动化程度、透明性和可解释性、安全、硬件、生命周期以及技术成熟度等风险来源。
更重要的是，应把风险来源、事件和后果连接起来，而不是简单罗列“数据风险”“公平风险”“安全风险”。
例如：
训练数据代表性不足，导致特定群体误差增加，进而产生不公平决策，并对个人造成公平性影响，同时给组织带来合规和声誉后果。
风险后果既要考虑组织，也要考虑个人、社区、群体和社会。
四、控制措施必须验证是否真正有效
风险控制的关键，不只是“有没有措施”，而是措施是否针对具体风险，并且在实际运行中有效。
组织应识别和记录与 AI 系统开发、使用相关的控制措施，并考虑控制失效的可能性。ISO/IEC 23894:2023 特别要求关注控制措施的运行有效性。
因此，应形成清晰关系：
具体风险、控制措施、有效性验证和剩余风险之间应建立明确对应关系。
例如，可根据风险设置数据质量检查、验证测试、权限控制、安全措施、人工复核、异常升级或人工接管机制。
人工监督也不能仅以“有人审核”作为有效性的证明。还应确认相关人员是否理解系统能力和局限，能够识别异常，并具有实际干预和升级处理的权限。
对于已经实施的风险处置措施，其实施情况和有效性应当验证并记录。
五、风险管理应贯穿 AI 系统生命周期
AI 系统风险不会在上线后自动消失。
设计、开发、验证、部署、运行、更新、重新评价和退役等阶段，都可能引入新的风险或改变原有风险水平。因此，风险评估应与系统生命周期保持一致，不同阶段可以采用不同的评估方法。
运行过程中，应关注系统性能、数据变化、异常事件、实际用途和外部环境变化。重新训练、模型更新、配置调整或用途变化后，也应判断原有风险评估和控制措施是否仍然有效。
六、剩余风险必须有明确决策和可追溯记录
完成风险分析后，应依据风险准则判断风险是否需要进一步处置。
风险处置可以包括避免风险、消除风险源、改变发生可能性或后果、分担风险，或者在充分了解风险的基础上保留风险。如果风险处置后仍无法将负面后果降低到要求水平，应进一步进行风险—收益分析。
同时，应建立系统级风险记录，使每一个风险都能够从识别、分析、评价、处置一直追踪到剩余风险和后续复审。ISO/IEC 23894:2023 要求风险记录支持已识别风险在整个风险管理过程中的可追溯性。
AI 系统风险管理的重点，不是给模型做一次测试，也不是简单增加人工审核，而是针对具体 AI 系统，围绕其预期用途、系统边界、运行环境和生命周期，持续开展风险识别、分析、评价、处置、验证和复审。
组织治理负责确定总体职责、风险偏好和管理框架；具体 AI 系统则应形成自己的风险准则、控制措施、剩余风险决策和可追溯记录。
只有把风险管理真正落实到具体系统及其实际运行过程中，AI 风险控制才能从原则要求转化为可执行、可验证和可持续的管理机制。
Intertek参考ISO/IEC 23894:2023推出的“AI系统风险管理评估服务”，可结合实际应用场景，对 AI 系统在个人、组织及社会层面的潜在影响进行分析，并提出风险优化建议。
目前试点应用已开放，欢迎联系Intertek直属销售或拨打400 886 9926获取更多信息。
|
