专家热议人工智能完美防御之道：当攻击者无利可图才真正安全

“虽然我们现在可能面临很多（人工智能安全）的问题，但只要我们能够用防火墙或各种方式把攻击门槛抬高，让攻击者无利可图，人工智能系统就会安全。” 9月16日，清华大学教授、人工智能研究院基础理论研究中心主任朱军在首届人工智能安全大赛颁奖仪式暨主体技术论坛上说。

论坛上，多位专家围绕人工智能安全和治理展开热议。有专家提到，人工智能边界的不确定性是其很难完美防御的原因，但只要让攻击者的付出大于期望的收益，就可以认为安全了。不过，如何把握“门槛”高度还有赖于坚实的理论基础。

活动现场。主办方供图

AI安全新特点：风险处于黑盒状态

“锚定怎样的发展理念、选取怎样的技术路线，使下一代人工智能实现安全、可信、可靠地发展，将是我们这代人为未来智能世界绘制的蓝图底色。” 中科院院士、清华大学人工智能研究院名誉院长张钹在致辞中说。

他指出，伴随算力、数据等条件的具备，以及机器学习等技术的进步，人工智能在各行各业的应用蓬勃兴起，但与此同时，以数据驱动的第二代人工智能在可解释性、鲁棒性（一个系统在异常或极端情况下仍然可以工作的能力）等方面的缺陷也暴露出来，安全事件频频发生。

为了应对近年来因技术局限或者恶意应用导致的人工智能安全问题，开展该领域的关键技术研究与攻防实践成为产业进一步发展的关键保障。在张钹看来，此次举办的人工智能安全大赛“是一个很好的途径和方法”。

据大赛主办方之一——瑞莱智慧的首席执行官田天介绍，本次大赛是首个全国性的人工智能安全赛事，选取了当前人工智能安全领域关注度最高、相关风险最为严重的人脸识别安全、自动驾驶安全、深度伪造安全作为赛题。最终，来自上海交通大学、北京理工大学和建信金科的四支队伍从400余支参赛队伍中脱颖而出，分获各赛道第一名。

“通过本次大赛的赛题设置以及所有选手的提交，我们发现人工智能安全问题具有以下三个非常典型的新的特点。”田天说，首先人工智能技术作为一项通用的普适性技术被应用在多个领域，一旦出现安全漏洞，可能影响人们日常生活的方方面面；其次技术复杂程度越来越高，人工智能安全风险往往处于黑盒状态，导致的损失也会更大；最后人工智能安全的风险维度除了公共安全、个人权益相关场景，已经拓展到国家安全、国际竞争等方面。

瑞莱智慧首席执行官田天。主办方供图

在他看来，人工智能发展需要具备三大核心方面能力。一是要关注人工智能相关的数据安全问题。“为了实现人工智能的发展，我们需要在满足对隐私数据保护诉求的同时充分释放数据价值”——具体来说，就是在数据训练、建模等环节部署数据安全技术。

二是关注人工智能的算法可靠。田天注意到，人脸识别、自动驾驶等复杂的人工智能系统算法中可能存在着大量的新型隐患或者被攻击的风险，在算法模型外部署相应的安全防护组件可以有效提升人工智能系统抵御模型窃取、对抗样本等等针对算法攻击的能力。

三是通过技管融合防止技术滥用，保证其应用安全可控。“新技术是一把双刃剑”，他提醒，“我们需要避免新型技术被恶意利用，引发信息泄露、伦理困境等社会风险。”

当攻击者无利可图，AI才真正安全

一直以来，“达到何种程度的人工智能才是真正的安全”都是学术界和产业界共同关注的焦点问题。当人工智能安全已经显现出新的特点，根据怎样的理论标准，才足以验证一项人工智能技术应用是否安全呢？

圆桌对话。主办方供图

“人工智能本身不是一个孤立的东西”， 朱军指出，人工智能在运行环境中与基础硬件等产生的诸多交互，以及其本身动态变化的边界，使得目前难以用严格的、形式化的方法验证一个人工智能系统的安全性。

谈及人工智能模型的应用环境，北京科技大学教授陈健生也认为不是孤立的。“在一个互联的环境中，肯定会涉及到很多使用或修改。这个过程中如果传输的特殊数据改一点，实际很容易就把模型破了。”他坦言，“我们的经验是基本没有什么模型是攻不动的。”

北京邮电大学教授、网络空间安全学院副院长邓伟洪则从人工智能边界的角度提出，即使像人脸识别这么精准的人工智能技术，它的边界依然很开放，一个准确率99.9%的模型很容易就会被攻破。再比如人脸活体检测，从打印照片、三维面具发展到硅胶面具，无论采用何种算法检测活体，总有更高级别的攻击手段将其破解——“这种不确定性是人工智能很难完美防御的原因”。

对此，朱军试图给出他的解决方法：只要能够通过防火墙等各种方式把攻击的门槛抬高，让攻击者无利可图，使得“攻击的付出大于期望的收益”，就可以说人工智能系统安全了。邓伟洪也认为，在面对不确定的人工智能时，这是“比较好的出路”。

不过，在多位专家看来，如何把握“门槛”的高度，还有赖于坚实的理论基础。邓伟洪指出，现在解决安全问题的方法是针对特定任务甚至特定场景的，还缺乏从数学上或模型理论上的安全保障。“我们不怕模型犯错，我们怕的是犯错了也不知道出于什么原因，也不知道怎么才能让它下次不犯错”，陈健生直言。

南都记者从会上了解到，北京航空航天大学教授、软件开发环境国家重点实验室副主任刘祥龙所在团队已经开始着手人工智能安全评测工作。他强调，人工智能应用安全问题“是研究不完的，我们现在关心的是怎么评估这类系统的安全性。”

比如首先要生成测试的数据以及样本，包括自动驾驶、自动零售等不同类型。测试之后要分析系统安全性，从训练方法、训练技巧等角度评估不同配置生成的模型安全性如何。还要从数据段、模型段提供加固手段，以帮助模型、算法系统改善安全性。

北京航空航天大学软件开发环境国家重点实验室副主任刘祥龙。主办方供图

刘祥龙透露，在标准化流程以及技术手段的基础上，将打造一套平台，集成算法库、模型库、资源库、评测指标库等，形成通用的评测流程。不过他也提到，目前只是在算法层次的评测，而未来的人工智能安全应该是从数据、算法到系统各个层次的全面评测。

AI治理：技术上鼓励，使用时监管

想要确保人工智能的安全，必然涉及人工智能的治理。今年以来，新加坡、欧盟、美国、中国等国家的监管机构和第三方机构纷纷发布人工智能治理测试工具箱、技术监管沙箱，推进人工智能治理的落地实施。

华为可信AI安全解决方案专家唐文观察发现，欧盟的《人工智能法案》立法进程最快，它的关注重心在于人工智能是否会被滥用。“我们认为它（欧盟《人工智能法案》）实际是在推行负责任的AI，也就是AI治理过程中首先要求AI的参与方负责；如果你的AI系统产生了不良的后果，我能够找到你的责任人。”他认为，当人工智能系统出问题的时候如何定责，是监管方非常重要的抓手。

反观国内，邓伟洪直言“人工智能治理是很大的问题”。他指出，人工智能已经在影响人们的生活，比如每天刷手机的时候推荐算法就在起作用，甚至影响人们的价值观。

另一方面，他表示，以前有的隐私比如人脸信息很难获取，但现在有人利用人脸识别技术能分析出很多东西，这是之前做不到的。“有了人工智能之后，数据、隐私保护可能比以前更难了……给相关的治理带来更多的挑战。”因此，他强调，人工智能治理要做到两方面：防止数据霸权，以及数据、隐私的保护。

“如果管理人工智能技术，其实技术本身的责任没有那么大。”朱军坦言，他把技术看作中性的东西，偏见或恶意可能来自收据的采集过程，而不是算法或模型。他认为，更重要的还是从追溯应用场景、使用者等方面做出监管。

他以会议投稿为例提到，现在人工智能的很多会议会要求投稿人就其提出的模型或者算法作声明，告知这个技术对社会有什么负面影响，也就是要在创造算法的时候考虑更多的社会责任，倒逼研究人员考虑最后的实际效果。比如把人脸识别用于监控的相关投稿可能就不会被会议所接收，因为可能涉及隐私。

在他看来，人工智能还处于相对比较早期的阶段，目前还是要鼓励技术发展，所以“从技术角度不应该监管（人工智能），而是应该鼓励它，但使用时候可以监管它”。

采写：实习生梁丙鉴 南都记者蒋琳