|
随着人工智能技术不断融入业务运营、客户服务、决策支持及公共治理等场景,AI 系统风险的影响已不再局限于传统信息系统中的故障、服务中断或数据丢失,而可能进一步延伸至个人权益、组织经营和社会公共利益。
ISO/IEC 23894:2023 指出,AI 风险评估应识别其可能对组织、个人、群体、社区及社会产生的后果。 从受影响对象来看,可以重点关注个人、组织和社会三个层面。
一、个人层面:权益、隐私与安全
当 AI 系统的预测、推荐或决策直接作用于个人时,可能对其机会获得、个人信息、基本权利以及人身和财产安全产生影响。
- 公平与权益
不公平或存在偏差的 AI 决策,可能使特定个人或群体在信贷、招聘、保险、教育或公共资源分配等场景中处于不利地位,造成机会受限、待遇差异或权益受损。ISO/IEC 23894:2023 将偏差、公平性、基本权利以及可能造成的物质和非物质损害纳入个人影响分析。
- 隐私与个人信息
AI 系统可能涉及个人信息的不当收集、使用、披露或访问,也可能通过已有数据推断健康状况、行为特征等敏感信息,从而影响个人隐私、人格尊严及其他基本权利。
- 人身与财产安全
当 AI 系统应用于交通、医疗、制造、机器人等与现实环境直接交互的场景时,错误输出或异常行为还可能影响人的生命、健康和财产安全。
二、组织层面:经营、责任与信任
对组织而言,AI 系统产生的问题可能从技术层面进一步转化为运营、财务、法律和声誉影响。
- 运营与经济
AI 系统失效、性能下降或输出错误,可能带来业务中断、调查修复、效率下降、工作时间损失和业务机会损失,并形成直接或间接经济成本。
- 法律与合规
如果 AI 系统造成隐私侵害、不公平结果、安全问题或其他权益损害,组织可能进一步面临监管处罚、罚款、合同纠纷、诉讼或赔偿责任。
- 声誉与信任
严重或持续的 AI 系统问题可能削弱客户、合作伙伴、员工和公众对组织的信任,并进一步影响品牌形象、商业关系和人员稳定性。ISO/IEC 23894:2023 将调查和修复成本、机会损失、员工招聘与留任、声誉、罚款和客户诉讼等均列为组织可能承受的后果。
三、社会层面:公平、公共利益与可持续发展
当 AI 系统被大规模应用,其影响可能超越单一用户或组织,并进一步扩展至群体、社区乃至整个社会。
- 社会公平与基本权利
如果不同群体获得的技术收益与承担的负面后果明显不均,AI 的规模化应用可能进一步扩大既有不平等,并影响社会公平和基本权利。ISO/IEC 23894:2023 特别强调,应关注技术受益群体与承担负面后果群体之间可能存在的差异。
- 公共服务与公共安全
当 AI 系统应用于政府服务、交通、能源等公共领域时,错误决策或系统失效可能影响公共服务的连续性、可靠性和安全性;在覆盖范围较大的情况下,其影响还可能波及更多社会群体。
- 社会文化与环境
AI 系统的大规模应用还可能影响不同群体所持有的社会和文化价值,并强化或减弱既有社会模式。同时,部分 AI 系统的训练和运行会消耗较多计算与能源资源,对环境产生影响;另一方面,AI 系统也可能被用于提高资源利用效率和改善环境表现。

AI 系统风险的影响并非彼此独立。个人层面的权益、隐私或安全问题,可能进一步转化为组织的法律、财务和声誉影响;当相关系统被大规模应用时,还可能进一步影响社会公平、公共利益和环境。
因此,对 AI 系统进行风险评估时,不应仅关注技术性能或组织内部损失,还应结合具体应用场景,综合分析其对个人、组织及社会可能产生的实际影响。
Intertek参考ISO/IEC 23894:2023推出的“AI系统风险管理评估服务”,可结合实际应用场景,对 AI 系统在个人、组织及社会层面的潜在影响进行分析,并提出风险优化建议。
目前试点应用已开放,欢迎联系Intertek直属销售或拨打400 886 9926获取更多信息。
|