技经观察 | 深度伪造技术的风险及治理

近两年来，人工智能自动生成内容的水平显著提高，深度伪造（Deepfake）技术即为一类典型技术，用于模仿、伪造人类行为特征，生成图片、视频、音频等。在娱乐应用以外，深度伪造技术所潜藏的风险不容小觑。

近两年来，随着以机器学习为代表的人工智能技术的发展，人工智能自动生成内容的水平取得了显著的提高，深度伪造（Deepfake）技术即为一类典型技术，用于模仿、伪造人类行为特征，生成图片、视频、音频等。其中，AI换脸为深度伪造技术的典型代表。

借助AI换脸技术，可对照片和视频中的人脸进行替换，而保持原有视频中人物的动作、神态与表情。深度伪造技术的广泛传播，则得益于互联网的便利。尽管视频换脸技术早已为在影视制作中得以运用，但深度伪造技术概念的兴起源于美国Reddit论坛中2017年出现的一个名为“deepfakes”的账号。2019年，ZAO软件风靡国内社交媒体，用户将个人照片录入系统后，即可将自己的面部与影视剧中的明星替换，“出演”影视片段。开源换脸框架和软件的广泛传播，使得深度伪造的运用门槛不断降低，非专业用户也可轻松凭借一张照片生成伪造视频。在娱乐应用以外，深度伪造技术所潜藏的风险不容小觑。

一、深度伪造技术的原理

深度伪造技术的兴起主要归功于生成对抗网络（GAN）的出现和发展。GAN 算法上同时搭载着两个神经网络：生成器与识别器。生成器可基于一个数据库自动生成模拟该数据库中数据的样本；而识别器则可评估生成器生成数据的真伪。两者在互相博弈学习中产生大规模和高精确度的输出。研究人员使用大量人脸图像训练GAN网络，使其掌握人脸图像中眼睛、鼻子、嘴巴及表情等特征。在新输入图像与视频后，GAN框架会对会对人脸特征进行捕获，并完成面部图像的替换与操纵。使用计算机对视频中的多个单帧进行批量处理即可生成深度伪造视频。

当前深度伪造技术的应用方式主要有四种类型：第一种是借助软件更换面部，也是目前为止用得最多的，例如已被我国禁用的换脸软件“ZAO”；第二种是操纵人脸动作，重塑表情、口型和速度，让其发表非其真实意图的言论，如美国网民就利用深度伪造技术制作Facebook公司CEO扎克伯格的视频，已在网络上广泛传播；第三种是借助深度学习技术，创建在现实生活中并不存在的面部图像，如在职场社交平台领英（LinkedIn）中被称为“数字间谍”的凯蒂·琼斯（Katie Jones），就是使用人工智能技术合成的虚拟形象，被用于收集政府官员信息；第四种是将面部表情与声音结合，借助深度学习，创建声音模型，如2019年8月，犯罪分子创建德国某能源公司总裁的声音模型，成功骗取该公司英国分部22万欧元。

早期，计算机需要借助同一面孔的多张不同角度照片才能完成人脸的替换，且替换准确度有限、替换痕迹较为明显。随着技术的不断进步，深度伪造技术仅凭一张面孔照片即可进行替换操作，并能自动调节换脸后的对比度、亮度、颜色和替换边缘的差异，而不让人眼轻松发现。至此，深度伪造检测技术进入发展新阶段。

二、深度伪造技术存在的风险

深度伪造技术一旦被滥用，其将对个人、社会和国家构成极大风险。相关风险按层次梳理如下：

1.个体肖像权、名誉与隐私权损害

若有不法者利用深度伪造技术制作虚假色情视频和虚假言论视频，则有可能被用作诬陷、诽谤和“色情报复”的手段，将对个人肖像权、名誉权和隐私权造成严重危害。

2.企业信誉及经济的损失

深度伪造技术的不当利用，同样会对企业的经营活动造成不可估量的负面影响。若不法者利用深度伪造技术制作企业负责人的公开谈话视频，篡改表情及谈话内容，散播虚假信息，将使社会公众发生错误认识，直接影响公司的信誉及经济利益。2019年6月，有网民使用深度伪造技术制作Facebook公司CEO扎克伯格发表演讲的视频。该视频在网络上广泛传播，即证明这种担忧并非空穴来风。

3.新闻媒体行业的社会信任衰退

深度伪造技术同样可能被用于篡改新闻报道中的图像和视频。若社会公众对记者和媒体持有不尽信任的态度，伪造视频更会加剧公众的不信任。深度伪造技术的存在证明眼见耳闻并不可靠，很可能会对新闻媒体的公信力造成冲击。

4.国家安全、公共安全受到威胁

不同于文字和图片，深度伪造技术制作的视频可以让虚假的信息以“高度可信”的方式呈现给社会公众，从而操纵观众的情绪反应，引发社会广泛的不信任。因而该技术很可能被敌对势力利用，作为诋毁国家机构、煽动恐怖和暴力活动、挑拨国家内部矛盾的工具。例如，美国政府官员就指出深度伪造技术对美国2020大选的潜在威胁——若放任伪造视频扩散，则会对美国总统选举产生不良影响，挫伤选民的积极性。

从短期看，深度伪造还可能会对公共安全产生一定影响。不法者可能利用虚假视频煽动暴力冲突，造成恶性后果。此外，深度伪造技术还可能成为造谣者摆脱质疑的工具。在深度伪造普遍运用的环境下，人们将不再轻易相信自己亲眼所见，说谎者正好可以利用民众的这一心理散布谣言。对于不利于自己的信息，尽管其没有经过任何加工，任何人都可以宣称是伪造的，从而达到混淆公众视听的目的，为社会治安的治理增添难度。

三、深度伪造技术治理

面对深度伪造技术存在的风险，各国分别推出深度伪造检测手段并出台相关政策进行防范、核查和治理。

（一）深度伪造检测技术

美国国防部高级研究计划局于2018年8月设立“媒体鉴证”项目，以寻求深度伪造识别工具，并最终推出一款准确率高达99%的识别工具；2019年9月，为激发业界对于深度伪造检测的创造，亚马逊AWS云服务部门、Facebook、微软、人工智能媒体诚信指导委员会联合发起深度伪造识别挑战赛，悬赏1000万美元寻求最高效的深度伪造识别工具，以应对深度伪造视频可能对2020年美国大选所造成的影响，英国牛津大学、美国麻省理工学院、加州大学伯克利分校等高校亦参与其中。

对于伪造图像的检测主要以边缘检测为主。计算机对图像进行网格划分与瑕疵识别后，可识别出不符合常规的边缘特征，从而判断出图像是否经过修改。

对伪造视频的检测方法可以分为两类：一是基于帧间时间特性的方法（Temporal features across frames），利用视频内人眨眼频率、嘴型等时间相关的特性进行判断，通常使用递归分类方法；二是基于帧内视觉效果的方法（Visual artifacts within frame），利用图像边缘的瑕疵以及五官位置、面部阴影等不自然的细节进行判断，通常提取特定特征后用深层或浅层的分类器完成检测。

此外，亦有研究人员提出使用可追溯、不可篡改的区块链技术对深度伪造视频进行追溯。2019年3月，阿拉伯联合酋长国哈利法大学电气与计算机工程系研究人员发表名为《使用区块链和智能合约打击深度伪造视频》（Combating Deepfake Videos Using Blockchain and Smart Contracts）的论文，提出使用区块链的解决方案和通用框架，以追踪数字内容的来源和历史，即使数字内容被多次复制也可对其进行溯源。该论文提供的解决方案框架具有普适性，亦可应用于任何其他形式的数字内容。

具体成果方面：2017年8月，新加坡信息通信研究所网络安全小组发表名为《自动人脸交换及其检测》（Automated face swapping and its detection）的论文，第一次提出AI换脸检测框架，检测准确率达到92%。从此，业界对于人工智能换脸技术及检测技术的研究进入白热化阶段，企业、高校及个人开发者纷纷投入对人工智能换脸检测工具的开发。

2019年6月，美国加州大学伯克利分校和南加州大学研究人员通过已有的非伪造视频，收集视频中个人的特征，构建高度个人化的“软生物识别指标”体系。识别系统在掌握个人的微表情和行为习惯后，鉴伪准确率可达到95%。美国Adobe公司也于2019年6月推出反向PS（Photoshop，全球使用最广泛的修图软件，此处意为“编辑图片”）工具。依托于AI算法，该工具可自动识别出人像图片中经过图像液化工具修改的部分，并将其还原成初始样貌，准确率高达99%。

为帮助研究人员开发深度伪造自动检测工具，谷歌公司于2019年9月公开发布深度伪造视频识别数据集，其中包含3000多段视频，由多位真人演员在28个不同场景下拍摄。全球研究人员都可使用该完全开源的数据集对深度伪造检测工具进行训练。

随着越来越多的深度伪造检测框架与训练数据集在网络上开源，国内对于深度伪造视频识别的研究成果也逐渐显现。

清华大学人工智能研究院旗下初创企业RealAI于2019年12月发布深度伪造换脸检测工具，可在1秒钟时间内对超过10人同框的图像与视频进行深度伪造识别，识别率可达到99%。2020年1月，北京大学与微软亚洲研究院联合推出深度伪造识别工具“Face X-Ray”，该工具不依赖于与特定图像修改技术相关的深度伪造知识，并且其算法可以在不生成假图像的情况下进行训练。研究结果表明，Face X-Ray能有效地识别出未被发现的假图像，并能可靠地预测图像混合区域。

（二）深度伪造相关法规政策与措施

各国已经意识到深度伪造技术可能带来的潜在风险，因此也开始在政策和立法层面进行积极应对。中国、美国、德国等国均出台相关法律法规，对深度伪造技术进行管控。相关的法律法规条款均对深度伪造内容的性质、责任主体、处罚标准等方面进行规范，意在对个人权利和国家安全的保护。其中，美国由于大选临近，相关立法更多注重于对2020年总统大选的保护。（各国涉深度伪造的立法情况可参照《技经观察 | 各国涉Deepfake等人工智能造假技术立法概况》一文。）

为规避深度伪造视频可能带来的不良影响，社交媒体平台也纷纷出台管控措施。推特公司表示，将为所有深度伪造视频贴上明显的标签，以提醒浏览者；Facebook公司则表示将在2020年美国大选前删除模仿、讽刺内容以外的深度伪造视频，以限制错误信息的传播。

四、总结

一方面，深度伪造技术为文化和娱乐创造了更多可能，该技术有望能让历史人物变得活灵活现，也能帮助创造更好的视频效果，使得演员的出演安排更加灵活，以上是深度伪造技术对于娱乐、教育等领域的有益影响。而另一方面，若深度伪造技术被不当利用，用于制作有害的虚假视频，则会对国家政治安全造成严重影响、对个人和企业的合法权益形成威胁。

当下，深度伪造技术与检测技术正处于复杂且不分伯仲的博弈中，“猫和老鼠”的斗争仍将持续。视频发布平台可能存在的审核疏漏以及舆论的阻力会给深度伪造视频的监管带来不利影响，且由于互联网使用成本低、网络作案具备一定的隐蔽性，深度伪造技术治理将会是一个长期的斗争过程。如何规范深度伪造技术的使用，除了法律规范的严格限定，也需要科研人员持续开发“打假”工具，并结合有针对性的人工审查，形成完善可靠的治理体系。

作者丨唐乾琛

研究所简介

国际技术经济研究所（IITE）成立于1985年11月，是隶属于国务院发展研究中心的非营利性研究机构，主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题，跟踪和分析世界科技、经济发展态势，为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号，致力于向公众传递前沿技术资讯和科技创新洞见。

地址：北京市海淀区小南庄20号楼A座

电话：010-82635522

微信：iite_er