本文作者：国家工业信息安全发展研究中心 王淼 张瑶

新一代人工智能正在全球范围内蓬勃兴起,为经济社会发展注入新动能，但人工智能技术如果运用不当，也会给公共安全、道德伦理、社会治理等带来威胁。近年来，加大力度防控人工智能安全风险已成为全球共识，我国在大力发展人工智能发展的同时，也需要针对这些风险同步采取规范措施，加强风险防控能力，保障人工智能安全健康发展。

一、人工智能发展带来一定安全风险

人工智能技术存在算法黑箱、技术滥用、侵犯隐私等安全问题，随着人工智能与实体经济深度融合，这些风险将会进一步叠加放大，给公共安全、道德伦理、社会治理等带来挑战。

技术内生风险。深度学习作为运用最为广泛的人工智能技术，存在“算法黑箱”“不可解释”等缺点，难以对其实施检测检查，一旦算法模型中存在漏洞，其产生的安全风险问题可能对社会安全产生重大威胁。华盛顿大学等高校的研究人员在一篇论文中披露，自动驾驶汽车并不能“真正理解”指示牌上的图案，而是通过一些特征来进行识别，人们只需要在交通标志上用贴纸进行相应处理，就可以让系统错误地将停车标志识别为限速标志。

技术滥用风险。技术发展是把双刃剑，随着人工智能应用日益深入，出现了利用计算机视觉、智能语音等技术实现“换脸”“换音”的情形，不但侵犯个人隐私，还可能被用于实施诈骗，产生严重后果。2019 年 3 月，《华尔街日报》报道，有犯罪分子使用深度伪造技术成功模仿了英国某能源公司在德国母公司CEO的声音，诈骗了220000欧元，造成严重的财产损失。

数据隐私风险。人工智能技术训练需要依靠大量数据，但当前数据的获取、使用的监督管理尚不完善，存在隐私泄露、数据滥用等风险，同时数据作为重要资产，跨境流动时处理不当还可能对国家安全产生威胁。2020年2月，服务于600多家执法机构及安保公司的美国人脸识别创业公司Clearview AI称其客户面部信息数据库被盗，据报道，Clearview AI从网络社交媒体上抓取了超过30亿张照片，这些数据在采集时并未明确获得用户的同意。

二、加大力度防控人工智能安全风险成为各国共识

为应对人工智能潜在安全风险，各国纷纷加强人工智能安全问题的前瞻性研究，加大力度防控人工智能安全风险，制定了一系列治理准则和规范指南。

美国发布规范应用指南，兼顾人工智能安全监管与创新发展。去年以来，美国对人工智能安全的关注度日益提升。一方面，美国白宫于2020年1月发布《人工智能应用规范指南》，提出公众信任、公平和非歧视、公开与透明、安全等10条人工智能监管原则，从国家层面规范人工智能发展并避免严格监管阻碍创新。2020年12月，美国白宫公布特朗普签署的《在联邦政府中促进使用可信赖的人工智能》行政令，强调人工智能的使用必须符合合法、安全可靠和具有弹性、负责任和可追溯等原则。另一方面，国防、交通、卫生等人工智能应用场景的安全准则日益完善。2020年2月，国防部采纳国防创新委员会建议的负责任、公平、可追溯、可靠和可控管理等5项新人工智能道德原则，为国防部研发、部署和使用人工智能奠定道德基础。同月，美国白宫和交通部共同发布自动驾驶汽车准则4.0，确立了自动驾驶的三大类十大原则，其中指出优先考虑安全、强调网络安全、确保隐私和数据安全。2021年1月，卫生部发布《人工智能战略》，希望在整个部门大规模采用“值得信赖的人工智能”。

欧盟提出人工智能分类监管设想，致力于构建可信人工智能。欧盟一贯执行严格的安全隐私和道德治理标准，始终是“可信人工智能”推动者。2018年5月，《通用数据保护条例》生效实施，规范了数据的收集使用，保护公民免受隐私侵犯和数据泄露侵害。2019年4月，欧盟发布《可信人工智能伦理指南》，提出实现人类自主和监督、确保技术稳健和安全、重视隐私和数据治理、建立问责机制等七项可信人工智能发展要求。2020年2月，欧盟委员会发布《人工智能白皮书——通往卓越和信任的欧洲路径》，提出对用于人才招聘、医疗保健、交通运输、能源和部分公共部门等高风险应用场景的人工智能产品和服务开展强制性的合格评定，对非高风险的人工智能应用采取自愿合格评定。2020年2月，欧盟委员会发布《关于人工智能、物联网、机器人对安全和责任的影响的报告》，介绍了当前的欧盟产品安全制度，并探讨了改进措施。

我国高度重视安全治理工作，积极推动人工智能健康有序发展。习近平总书记明确要求，“要加强人工智能发展的潜在风险研判和防范”“要确保人工智能安全、可靠、可控”“要整合多学科力量，加强人工智能相关法律、伦理、社会问题研究，建立健全保障人工智能健康发展的法律法规、制度体系、伦理道德。”2017年7月，国务院印发《新一代人工智能发展规划》，提出必须高度重视可能带来的安全风险挑战。2019年2月，科技部宣布成立新一代人工智能治理专业委员会，同年6月，委员会发布《新一代人工智能治理原则——发展负责任的人工智能》，明确发展与治理的关系，提出和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理等八条原则。2020年，数据安全法、个人信息保护法等法律草案相继公布，为人工智能应用过程中个人信息保护和数据安全构筑了安全防线，我国保障人工智能健康发展的法律法规和伦理道德框架正逐渐完善。

三、多措并举筑牢人工智能安全防线

我们应清醒认识到人工智能的“双刃剑”作用，主动应对风险和挑战，从加强顶层设计、推动算法优化、构建数据规范、开展安全测评等方面规范人工智能技术，推动我国人工智能更快更好发展。

加强顶层设计，构建安全风险管理体系。开展人工智能安全风险相关问题的研究，尽快构建重点突出、具有可操作性的安全风险管控体系，提升风险研判、防范和管控能力，促进人工智能技术健康发展。

推动算法优化，增强人工智能应用可靠性。开展人工智能前沿算法攻关，提升算法的可解释性。加强数据脱敏、差分隐私等技术的研究，分区、分级、分领域构建安全技术体系，保证人工智能产品符合一定的安全标准与道德规范。

构建数据规范，加大隐私安全保护力度。完善数据合规应用监督和审计强化数据安全技术能力建设，建立统一高效、协同联动的安全管理体系，做好个人信息保护与数据安全管理。

完善标准体系，开展关键技术产品安全风险测评。加快制定人工智能相关技术发展及应用的安全标准，围绕人脸识别、语音识别等重点领域开展第三方安全风险评估检测认证，保障人工智能技术安全、产品安全、数据安全和应用安全。