当前，人工智能技术正加速融入上海经济社会各领域，成为推动城市数字化转型的核心动力，但模型窃取、算法后门等安全威胁也随之凸显，严重制约产业高质量发展。随着世界各国纷纷出台相关政策、积极构建产业生态，上海作为全球数字经济标杆城市，更将人工智能安全视作产业发展的重中之重。本文系统梳理人工智能安全领域的政策导向、风险隐患、技术体系与发展瓶颈，探索推进性策略，对筑牢城市人工智能安全防线、推动产业规范有序发展具有重要意义与实践价值。
发展现状随着人工智能技术与经济社会各行业深度融合，世界各国对人工智能安全问题高度重视，已形成人工智能安全相关政策引导与企业实践探索的良好态势。国际层面，G20通过《G20人工智能原则》，倡导以人类为中心、负责任地开发人工智能，提出培养人工智能数字生态系统、推动可信赖人工智能国际合作等具体要求；美国在《国家人工智能研究与发展战略计划》中明确，所有联邦机构负责人需审查本部门控制的联邦数据和模型，保障数据安全、隐私及机密性。国内方面，国务院《新一代人工智能发展规划》强调强化数据安全与隐私保护，加大对数据滥用、侵犯个人隐私等行为的惩戒力度，为人工智能研发应用提供数据支撑；中国人工智能产业发展联盟发布的《人工智能行业自律公约》，则从行业组织层面明确了人工智能开发利用的基本原则和行动指南，推动行业伦理自律。企业层面，腾讯Lab在白盒攻击、黑盒攻击、物理攻击及对抗样本防御等多个方向成果丰硕，技术覆盖人脸识别、图像分类等多类任务；蚂蚁集团发布可信人工智能技术架构体系，在隐私保护、可解释性等技术方向实现多项突破并落地应用；Movidius推出多款植入独立神经运算引擎、支持边缘深度学习推断的视觉运算芯片及神经计算SDK开发包，为人工智能安全提供硬件与技术支撑。
人工智能安全风险分析人工智能系统所面临的安全风险，既包含算法偏见歧视、算法后门嵌入、训练数据投毒、模型窃取攻击等新型算法类安全风险，也包含训练数据泄露、代码安全漏洞、系统非授权使用等传统数据和网络安全风险。相应地，人工智能安全技术通常从消减新型算法类安全风险与数据和网络安全风险两方面切入应用，其中既运用人工智能、数据和网络安全自身的经典理论，也在此基础上借鉴运用多个领域的相关复用技术来实现。从安全风险整体管控角度来说，针对人工智能全生命周期各阶段可能涉及的安全风险问题，大致可划分为八个阶段：一是初始阶段的安全风险，该阶段指将针对人工智能技术或系统建设的想法转化为有形系统的规划过程，主要涵盖任务分析、需求定义、风险管理等内容，其安全风险主要体现在必须将人工智能应用目标的设定与现有国家法律法规和社会伦理规范相适配，不得相悖。二是设计研发阶段的安全风险，该阶段指完成人工智能系统的创建和部署过程，主要涵盖确定设计方法、定义系统框架、编写软件代码、风险管理等内容，其安全风险主要体现在人工智能基础设施欠缺、技术潜在脆弱性以及设计研发失误等引发的安全隐患。三是检验验证阶段的安全风险，该阶段指针对人工智能系统是否按预期设定要求执行、是否能够满足既定目标开展的检查工作，其安全风险主要体现在测试验证不充分、未能及时发现和修复前序阶段潜在问题等。四是部署阶段的安全风险，该阶段指在目标环境中安装和配置人工智能系统的过程，其安全风险主要体现在软硬件部署环境不可信、遭受非授权访问和非授权使用等。五是运行监控阶段的安全风险，该阶段主要涵盖针对人工智能系统的运行监控、维护升级等过程，其安全风险主要体现在对人工智能系统发起的对抗样本、算法后门、模型窃取、模型反馈误导、数据逆向还原、成员推理、属性推断、代码漏洞利用等安全攻击，以及人工智能系统遭受滥用或恶意应用等产生的安全隐患。六是持续验证阶段的安全风险，该阶段指针对人工智能系统进行持续检验验证，其安全风险主要体现在测试验证数据未及时更新、未及时发现和修复模型反馈误导等问题。七是重新评估阶段的安全风险，当初始设定目标无法按预期达到或需要修改优化时，将进入重新评估阶段，该阶段主要涵盖设计重定义、需求重定义、风险管理重设计等内容，其安全风险与初始阶段类似。八是废弃阶段的安全风险，该阶段指销毁使用目的不复存在或有更好替代方案的人工智能系统，主要涵盖数据、算法模型以及系统整体的废弃销毁过程，其安全风险主要体现在销毁不彻底、泄露个人隐私等。
