［基金项目］中央高校基本科研业务费专项资助项目
“网络数据爬取行为刑法规制问题研究”（3132021287）［收稿日期］2021-08-30
［作者简介］储宜彬
（1997—），男，天津人，大连海事大学法学院硕士研究生，研究方向为互联网法学。深度伪造合成“非真实音视频”
的规制现状与完善建议
———以《网络音视频信息服务管理规定》为切入点
储宜彬
（大连海事大学，辽宁大连116023）
［摘要］“深度伪造”是一种以人工智能深度学习算法为基础的“非真实音视频”合成技术。依
托于“生成对抗网络”，“深度伪造”所合成的“非真实音视频”作品具有高逼真度，若被不法利用可能引发严重危害后果。为抑制“深度伪造”的技术风险，国家网信办牵头制定了《网络音视频
信息服务管理规定》，规定了标明合成字样、停止传输、部署鉴别机制等规制措施，并划定该算法的适用禁区。不过，上述规制措施仍存在网络平台负担义务过重、缺乏具体责任承当方式等问题。为克服现有规制措施的局限，应当从明确标识“合成”的具体方式、优化监管模式、细化法律责任承担方式等方面入手，寻求合成“非真实音视频”作品法律规制的进一步完善。
［关键词］人工智能；深度伪造；合成音视频；标识义务［中图分类号］DF
［文献标识码］A
［文章编号］1009-6566（2021）06-0120-05
2020年12月，中共中央印发了《法治社会建设实施纲要（2020－2025年）》，强调要制定完善有关“算法推荐、深度伪造等新技术应用”的规范管理办法。事实上，针对人工智能“深度伪造”等新技术应用于音视频领域所具有的风险，国家互联网信息办公室、文化和旅游部以及国家广播电视总局于2019年11月18日联合发布了《网络音视频信息服务管理规定》以下简称《规定》），明确利用基于“深度伪造”等新技术新应用制作、发布、传播“非真实音视频”的基本条件与违法类
型［1］。以《
规定》为切入点，我们可以发现我国在规制“深度伪造”技术所合成的“非真实音视频”作品的基本立场与
主要措施，明确其存在的不足之处，并寻求进一步的完善。一、我国对“深度伪造”技术合成“非真实音视频”的法律规制现状基于“深度伪造”技术合成的“非真实音视频”，是指运用人工智能“深度伪造”等新兴技术制作的“非真实音视频”信息，其依托于大数据与人工智能“深度伪造”所形成的智能音视频处理技术，该技术最为核心的特征就在于高度真实性，其在艺术（历史图片修复等）、教育以及自主学习等领域具有广阔的应用前景［2］。
从技术层面来看，“深度伪造”技术合成“非真实音视频”的核心是“生成对抗网络”（Generative
Adversarial
Neural
Network ）。所谓的“生成对抗网络”，系透过生成器网络与鉴别
器网络互相对抗，使生成器网络所假造出来的影像贴近真正版本，同时也增强鉴别网络判断其真假之能力［3］。与传统合成技术（如常见的PS 等技术）相比，其依托算法自主的学习，伪造的行为脱离了人的参与，通过人工智能的计算机程序自动完成［4］。过程中“生成对抗网络”会不断修正伪造的
天水行政学院学报2021年第6期（总第132期）
. All Rights Reserved.
视频或照片与真实之间的差别，理论上来讲，只要拥有足够的源数据与训练时间，其可以生成任何“高逼真”的伪造。并且通过这一系列无监督学习，“生成对抗网络”会不断发展、进化，实现自我优化，乃至最后可以生成无法辨别真假的视频或者照片。
由于目前尚未研发出能够快速准确地检测合成“非真实音视频”的技术，同时目标对象大量的源数据可以通过网络轻易、合法地获取，整个伪造过程不仅操作简便，效果还十分突出，正因如此该技术在多个领域的应用出现“异化”的趋势，危及个人合法权益、企业商业信誉以及社会公共安全［5］。以杨幂AI换脸视频为例，“视频中，杨幂的五官与朱茵的表情几乎全部融合，难辨真假”［6］，没有经过专业训练以及相关专业技术辅助的民众对此基本无法区分。同时，这一技术可能在某些西方国家选举活动中被竞争对手利用，用于煽动民众情绪或抹黑选举人，破坏国家政治稳定［7］。不仅如此，根据美国《财富》杂志在2019年12月的报道，美国Kneron公司通过使用“深度伪造”技术合成的人像视频，成功地欺骗了支付宝和支付程序的人脸识别系统，并且顺利通过机场、火车站等自助终端的检验［8］，对公民的个人隐私与财产权带来较大隐患。综上所述，基于“深度伪造”合成“非真实音视频”在多个领域有着广泛、明朗的应用前景，但同时也伴随着被滥用进而侵犯个人、社会、国家权益的现实风险。
正因如此，在抢抓人工智能发展的重大战略机遇，构筑我国高新技术的先发优势的同时，为防止相关技术异化，更是为响应党中央建立健全网络综合治理体系的号召［9］、促进网络音视频信息服务健康
有序发展，国家互联网信息办公室、文化和旅游部、国家广播电视总局联合印发《规定》，提出了多项针对“非真实音视频”的专门化规制措施，可简要概括为“两义务、两机制、一禁止”，涉及到适用、技术保障与危害预防等多个方面，具体内容如下：第一，标识“合成”义务。要求相关主体以显著方式标识“合成”字样，成为使用“深度伪造”技术合成“非真实音视频”的基本前提，同时也是法律规制中的核心措施。《规定》第十一条第一款规定了标识“合成”字样的义务。从条文表述可以看到，《规定》实际上要求“网络音视频信息服务提供者”与“网络音视频信息服务使用者”均负有对“非真实音视频”作品的标识义务。
第二，停止传输义务。《规定》第十二条第一款后半部分与第十二条第二款规定了“网络音视频信息服务提供者”负有停止传输的义务。本条规定所确立的“网络音视频信息服务提供者”的停止传输义务，其中又分为两种情况。其一针对法律法规所禁止的信息，“网络音视频信息服务提供者”一经发现立即停止其传输并向相关主管部门进行报告。本项规定从侧面体现出，“深度伪造”技术合成“非真实音视频”作品的行为本身并不具有违法性，技术本身是中立的。其二，针对应履行标识义务而未履行相应义务的“非真实音视频”提供者或网络音视频平台而言，《规定》要求其先停止传输，并且只有在标识后才能重新恢复传输。这一规定与标识“合成”义务相互映照，推动标识义务的体系化。
第三，鉴别机制。《规定》第十二条第一款前半部分规定规定了鉴别技术的部署应用，即网络音视频信息服务提供者负有“部署深度伪造鉴别技术”的义务，并在发现存在违法内容后停止传输信息。客观而
言，目前尚未研发出能够快速准确地监测“深度伪造”合成“非真实音视频”的技术手段，从某种意义上说，作为防守方的“鉴真技术”在作为进攻方的“伪造技术”面前往往处于落后挨打的地位［10］。因此，《规定》鉴别机制的规定具有相当的前瞻性，在一定程度上是为相关技术的研发提供法律激励与保障。
第四，辟谣机制。《规定》第十三条规定了网络音视频服务提供者“应当建立辟谣机制”，在发现虚假信息后及时辟谣。具体来说，网络音视频信息服务提供者应着手建立一种有效针对行为人通过利用以“深度伪造”“虚拟现实”等技术为基础，制作、传播、发布的虚假图像、音视频谣言的辟谣机制。应当看到，《规定》明确提出的建立辟谣机制是针对“非真实音视频”内容可能带来的信任危机所作出的积极应对，通过常规、系统、有效的辟谣机制，防范非真实内容可能带来的谣言传播风险，将其可能对各方主体合法权益以及公共利益造成的不良后果降到最低程度［11］。当未进行标识的“非真实音视频”在网络上传播使民众产生错误认知、侵害到相关利益时，平台应通过辟谣机制发布公告进行说明同时向相关部门进行备案，这样可以在最大程度上消减负面影响。
第五，新闻类信息强制禁止。《规定》第十一条第二款规定对于新闻类信息，我国作出禁止“非
. All Rights Reserved.
真实音视频”的强制性规定。正因如此，我国网信办等有关部门通过出台部门规章的方式明确禁止在新
闻信息领域使用“深度伪造”“虚拟现实”等技术，维护新闻的真实性，保障民众对于社会真相的知情，防止社会信任体系崩塌进而危害公共安全。
二、“深度伪造”技术合成“非真实音视频”法律规制中的现存问题
尽管《规定》对于网络音视频信息服务提供者与网络音视频信息服务使用者确立了“两义务、两机制、一禁止”等规制措施，以期将“非真实音视频”可能存在的风险控制在理想的范围之内，从而最大限度地推动人工智能技术的发展。但整体来看，《规定》所确立的上述规制措施仍存在一定的局限性。
第一，《规定》明确规定了“非真实音视频”制作者应当履行“标识义务”，也即应当以显著方式标明音视频属于合成作品才能将其在网络上公开发布。不过，应当以“显著方式”予以标识之标识义务，究竟包括哪些内容以及如何具体履行，《规定》并没有规定。同时，目前各网络音视频平台对于如何在“非真实音视频”作品上以显著方式标识“合成”，也未作出具体规定，各大音视频平台尚未及时更新“创作公约”等协议来具体规定创作者履行标识义务的方式。作为“非真实音视频”的核心规制措施的标识义务未能充分落实，导致规制体系无法充分发挥作用。因此，有必要对标识“合成”字样的具体方式作进一步探讨。
第二，《规定》对于网络音视频信息服务提供者的义务设置较高，有强人所难之嫌。《规定》要求网络音视频信息服务提供者部署鉴别机制，建立辟谣机制，这无疑加重了网络音视频信息服务提供者的运营成本。如今，针对“非真实音视频”快速有效鉴别的技术手段尚未研发成功，且相关检测技术的主要
研究人员集中在国外各研究机构，我国相关算法和技术研究相对滞后［12］；相较于作为规制对象的“非真实音视频”制作技术而言，识别“非真实音视频”作品的技术必然具有相对的滞后性，如果要求网络平台负担绝对化的技术保障义务，这一“紧箍咒”无疑会给网络平台带来巨大的运营压力，甚至可能出现鉴别技术制约网络音视频平台生存发展的风险。此外，一旦我们强行要求网络平台负担起难以达到的部署鉴别技术义务，其出于生存需要，网络平台便可能针对合法的音视频作品作出不当限制以规避风险，由此便会对用户的自由表达与创新积极性产生负面影响。
第三，《规定》对于法律责任的规定过于笼统，制裁措施缺乏体系性。具体来看，《规定》第十八条仅仅作出提示性规定，也即违反本规定的由网信、文旅、广电等部门依照《中华人民共和国网络安全法》（以下简称《网络安全法》）以及其他相关法律法规规定处理。事实上，作为政府的部门规章，《规定》可以在法律、法规所规定的行政处罚的行为、种类和幅度的范围内作出具体规定；甚至对于尚未制定法律、行政法规的，规章也可以设定警告以及一定数额的。《规定》并未能明确规定违法行为的具体法律后果，导致前述对于“非真实音视频”所设置的管理措施缺乏强制力。同时，《规定》未能重视个人征信等社会性治理措施，尚未形成针对“非真实音视频”社会、行业、国家的三方综合治理模式。
三、“深度伪造”技术合成“非真实音视频”治理的完善建议
客观而言，针对“深度伪造”技术合成“非真实音视频”作品这一新生事物，我国应当确立起以标识义务为中心的开放性治理对策。也即，围绕着履行标识义务的具体方式、履行标识义务的监管模式以及违反标识义务的补救措施与法律后果，寻求科学的制度建构，才能克服《规定》的局限性，在科技创新与风险规制之间实现平衡，以期达到最佳的开放性治理效果。因此，立足于《规定》的基本规定，对完善合成“非真实音视频”的法律规制提出如下建议：
（一）明确标识“合成”的具体方式
首先，从标识的可识别程度来看，“以显著方式”即要求合理运用足以引起音视频观众注意的方式。从正面来看，“深度伪造”技术使用者应当在音视频的显著位置、以普通人可以观察到的字体尺寸与颜标识“合成”。从反面来看，“深度伪造”技术使用者不得运用技术手段对标识义务予以规避，以达到“以假充真”误导音视频观众的目的。
其次，从标识形式来看，实践中可能存在不同选择。可以采取“嵌入数字水印”方式在合成音视频作品中全程标识“合成”，也可以选择在合成音视频的开头、结尾或开头与结尾处作出“提示性”标识。前者的优势在于标识的“全方位”，但可能影响合成作品的感官效果；后者虽具有更好的感官效果，
. All Rights Reserved.
却可能存在部分观众未能注意“合成”标识的风险隐患。
最后，就标识主体而言，可以是要求“非真实音视频”作品的制作者直接在合成音视频作品上予以标识，也可以是要求“非真实音视频”制作者将音视频的“合成”属性告知音视频平台，后由平台通过技术手段统一予以标识。前者的优势在于一定程度上节约平台的成本，但可能存在标识方式不统一的问题；后者的优势在于标识方式的统一性。
就标识形式与标识主体而言，我们可以由网络音视频平台自主决定并以“创作公约”等协议告知创作者；网络音视频信息服务行业组织可以确立各种“创作公约”范本，供网络音视频平台选择，并提供技术引导。《规定》第五条前半部分也明确规定，“国家鼓励和指导互联网行业组织加强行业自律，建立健全网络音视频信息服务行业标准和行业准则”。简言之，行业自律是我国在新兴技术治理的基本立场，通过行业自律实现规制目的是互联网领域治理的不二之选。
（二）优化标识义务履行的监管模式
考虑到实践中可能存在“非真实音视频”制作者未能在合成作品上以显著方式予以标识的情形——
—未履行标识义务，为了预防这种未履行义务行为引发进一步的危害后果，有必要明确标识义务履行的监管方式。从立法现状来看，《规定》第十二条明确了网络音视频信息服务提供者所应承担的“部署非真实音视频鉴别技术”的义务。直观来看，网络音视频平台需要主动采取技术措施，部署对“非真实音视频”的鉴别方案，及时发现未标识的合成作品。当网络音视频平台通过鉴别程序自动检测出未进行标
识（或未以显著方式进行标识）的“非真实音视频”时，应及时停止传播、删除并按照《规定》向有关部门进行报备。
应当看到，网络音视频平台所负担的部署鉴别技术的义务，实质上是对长期以来针对网络服务提供者所确立的“避风港”原则的突破。易言之，针对“非真实音视频”作品，网络监管已经从“通知—删除”的被动处置模式，转变为“识别—删除”的主动监管模式。不可否认，对于网络音视频平台提出部署鉴别技术的要求表明了网络平台在国家治理体系中扮演着重要角，体现出“以网管网”的基本特征［13］。不过，也应当看到，主动监管模式可能将网络平台置于生存困境之中，有强人所难之嫌。
由行业组织牵头并引导网络平台协作开发针对“非真实音视频”技术的鉴别程序，在现行条件下确立一种可行的技术标准，是当前较为稳妥的选择。只要网络音视频平台达到了行业组织确立的技术标准，便应当认为其履行了部署鉴别机制这一技术保障义务，而无须要求网络平台自身去寻求鉴别技术的革新。在此基础上，我们仍然要贯彻以“通知—删除”为基础的避风港原则，回归到“通知—删除”的被动处置模式；只要网络音视频平台在接到通知后及时删除未履行标识“合成”义务的“非真实音视频”作品，便可以获得豁免。
（三）细化违反标识义务的法律后果
目前，对于“非真实音视频”技术使用者和网络音视频信息服务提供者违反其所承担的义务，监管部门如
何采取行政处罚措施，《规定》并未作出明确回应，这不利用执法机关准确适用法律规制违法行为。事实上，作为国务院部委制定的规章，《规定》可以在法律、行政法规规定的范围内对于行政处罚的行为、种类和幅度作出具体规定。因此，有必要将《规定》关于违反标识义务等法律义务的后果进一步细化，增强执法实践的可操作性。
作为《规定》的上位法，《网络安全法》要求网络运营者应当加强对其用户发布的信息的管理，对于违法信息停止传输进行删除并向主管部门报告，并于第五十六条、第六十八条第一款详细规定了约谈措施以及处罚事项。首先，可以参照《网络安全法》的规定，当未标识“合成”字样的非真实音视频可能存在较大安全风险或引发安全事件的情况下，要求省级以上主管部门进行约谈。其次，《规定》可以以《网络安全法》所确立的处罚范围为基础，明确规定相应的处罚标准。例如，对于未能停止传输未标识“合成”字样的非真实音视频或未能采取辟谣等补救处置措施的网络运营者，由国家网信办责令改正，给予警告。对于拒不改正的，处十万元以上三十万元以下；对于拒不改正并引发严重危害后果的，处三十万元以上五十万元以下。存在上述两种情形的，同时可以责令暂停网络音视频信息服务业务、关闭网站；情节严重的，同时可以吊销相关业务许可证或者吊销营业执照，并对直接负责的主管人员和其他直接责任人员处一万元以上十万元以下。
《规定》的出台对于基于“深度伪造”合成“非真实音视频”行为有效规制具有进步意义，其所确
朱茵
. All Rights Reserved.
Regulation Status and Improvement Suggestions of Deepfake “Unreal Audio and Video ”
———Take the management regulations on network audio and video
information service as the starting point CHU Yi-bin
（Dalian Maritime University ，Dalian 116023，China ）
Abstract:“Deepfake ”is an “unreal audio and video ”synthesis technology based on artificial intelligence deep
learning algorithm.Relying on the “generation confrontation network ”and “deepfake ”，the “unreal audio and video ”works synthesized by “deepfake ”have high fidelity.If they are illegally used ，they may cause serious harmful consequences.In order to curb the technical risk of “deepfake ”，Cyberspace Administration of China took the lead in formulating the regulations on the management of network audio and video information services ，stipulating regulatory measures such as marking synthetic words ，stopping transmission and deploying authentication mechanism ，and delimiting the restricted area for the application of the algorithm.However ，there are still some problems in the above regulatory measures ，such as the heavy burden of obligations on the network platform and t
he lack of specific responsibility bearing methods.In order to overcome the limitations of the existing regulatory measures ，we should
seek the further improvement of the legal regulation of synthetic “
unreal audio and video ”works from the aspects of clearly identifying the specific way of “synthesis ”，optimizing the regulatory mode and refining the way of legal responsibility.
Key words:artificial intelligence ；deepfake ；unreal audio and video ；marking obligation
立的“两义务、两机制、一禁止”措施，表明国家对于新兴技术的开放、积极、支持的态度，在不违反法律、法规以及公序良俗的前提下鼓励相关技术发展、应用。但算法、技术也存在异化的可能，其所表现的种种危险不能忽视。因此，应在现有规定基础上，通过明确标识“合成”的具体方式，优化监管模式、明确法律后果等方式完善《规定》，避免监管缺位，法规名存实亡的窘境，为建立健全网络综合治理体系，促进网络音视频信息服务健康有序发展提供制度保障。●参考文献：
［1］国家互联网信息办公室有关负责人就《网络音视频信息服务管理
规定》答记者问［EB/OL ］.v/2019-11/29/c_1576561821173892.htm ，019-11-29.
［2］Bobby Chesney ，Danielle Citron.Deep Fakes:A Looming Challenge
for Privacy ，Democracy ，and National Security ［J ］.CALIFORNIALAW REVIEW ，107:1769-1770.
［3］余和谦.人工智慧之治理———以深度伪造为例［J ］.科技法律透析，
2019，（8）:56.
［4］李怀胜.滥用个人生物识别信息的刑事制裁思路———以人工智能“深度伪造”为例［
J ］.政法论坛，2020，（38）：146.［5］张涛.后真相时代深度伪造的法律风险及其规制［J ］.电子政务，2020，
（4）：91.
［6］刘津宁.AI 换脸技术暗藏法律风险［N ］.北京日报，2019-03-20（14）.［7］龙坤.深度伪造对国家安全的挑战及应对［J ］.信息安全与通信保
密，2019，
（10）:24.［8］孟雪.深度伪造技术给网络可信身份管理带来的挑战与对策［J ］.网
络空间安全，2020，
（06）:77.［9］谢新洲.以创新理念提高网络综合治理能力[EB/OL].opinion.
people/n1/2020/0311/c1003-31626276.html ，2020-3-11.［10］王禄生.论深度伪造智能技术的一体化规制［J ］.东方法学，2019，
（
6）:64.［11］林维.新规护航网络音视频“向上向善”［J ］.网络传播，2019，（12）:
77.
［12］暴雨轩.深度伪造视频检测技术综述［J ］.计算机科学，2020，（9）:
290.
［13］姜瀛.“以网管网”背景下网络平台的刑法境遇［J ］.国家检察官学
院学报，2017，（5）:37-38.
. All Rights Reserved.